跳到主要内容
Apache王也道长

Apache王也道长

喜欢写一点代码,喜欢折腾

产品

正在打磨的产品

把技术文章沉淀成产品能力,也把产品研发过程继续写成文章。

开发中

Cloud Album

面向海外用户的私有云相册,围绕备份、整理和订阅体验持续打磨。

从真实产品研发出发,记录 iOS 客户端、MinIO 存储、海外支付与增长实验的完整过程。

iOS AppMinIO 存储海外订阅

技术博客

最新文章

RocketMQ 集群搭建教程:NameServer、Broker 主从与 Console 部署

· 阅读需 5 分钟
Apache王也道长
软件开发者与技术作者

上一章讲解了rocketmq的消息发送与接收,那么这篇文章讲解如何安装rocketmq

单机搭建

1. 安装包准备

上传apache-rocketmq.tar.gz至/opt目录

http://download.csdn.net/download/xxzblog/10124706

机器ip:192.168.1.101

消息队列集群不能只验证进程存活,还应测试生产、消费、Broker 故障、磁盘压力和消费积压。部署拓扑与复制能力取决于具体 RocketMQ 版本。

RocketMQ 入门教程:NameServer、Broker、Producer 与 Consumer

· 阅读需 3 分钟
Apache王也道长
软件开发者与技术作者

本文讲解前不久进入apache顶级项目的RocketMQ,几个简单的例子讲解如何搭建RocketMQ,以及发送消息,接受消息。

理解 RocketMQ 应先掌握路由发现与消息存储:生产者从 NameServer 获取路由后向 Broker 发送,消费者再按消费组和队列拉取或接收消息。

Java 读取千万级数据库数据:流式游标、fetchSize 与分片处理

· 阅读需 2 分钟
Apache王也道长
软件开发者与技术作者

这篇文章主要讲解 如何从数据库加载1000w数据

加载大量数据

例子:将1000w的数据从数据库导入到redis中

在mysql中的实现方法:1、limit 分页 2、游标 千万级数据不能简单一次性加载到 List 中,否则容易造成长事务、内存溢出和数据库压力。设计时应先明确是在线查询、离线导出还是数据迁移,再选择流式读取或分片处理。

Python 网络爬虫入门:URL 管理、下载、解析与数据输出

· 阅读需 5 分钟
Apache王也道长
软件开发者与技术作者

这篇文章主要讲解 python如何实现简易爬虫

爬虫流程

打开种子url ----> 获取种子url页面中所有的url ----> 判断是否被爬取过,未爬取过的url添加到url列表中 ----> 解析页面中需要的信息 ----> 写入数据库 编写爬虫前应查看站点服务条款和 robots 规则,并控制请求频率。公开页面可访问不等于可以无限抓取,涉及账号、个人信息或访问控制时必须获得授权。

Apache HttpClient Cookie 教程:CookieStore、会话保持与持久化

· 阅读需 2 分钟
Apache王也道长
软件开发者与技术作者

这篇文章主要讲解 httpclient如何使用cookie

我们在使用httpclient模拟登陆时,要保留登陆时服务器返回的cookie,这时我们要使用BasicCookieStore Cookie 通常承载会话状态,调试时应关注 Domain、Path、Secure、HttpOnly、SameSite 和过期时间。日志中不要输出真实会话 Cookie,以免造成账号泄露。

Java 启动参数详解:堆内存、G1 GC、系统属性与应用参数

· 阅读需 2 分钟
Apache王也道长
软件开发者与技术作者

这篇文章主要讲解 Java 启动参数 在linux用jmeter做压力测试的时候,发现jmeter启动参数,记录一下:

java -server -XX:+HeapDumpOnOutOfMemoryError -Xms512m -Xmx512m -XX:+UseG1GC -XX:MaxGCPauseMillis=250 -XX:G1ReservePercent=20 -Djava.security.egd=file:/dev/urandom -jar xxxx.jar

解释一下上述参数意思: Java 命令中 JVM 参数必须放在 -jar 或主类之前,应用参数放在其后。排查启动问题时应同时记录实际命令、Java 版本、环境变量和容器资源限制。

总访问量 -- · 访客数 --