跳到主要内容
Apache王也道长

Apache王也道长

喜欢写一点代码,喜欢折腾

产品

正在打磨的产品

把技术文章沉淀成产品能力,也把产品研发过程继续写成文章。

开发中

Cloud Album

面向海外用户的私有云相册,围绕备份、整理和订阅体验持续打磨。

从真实产品研发出发,记录 iOS 客户端、MinIO 存储、海外支付与增长实验的完整过程。

iOS AppMinIO 存储海外订阅

技术博客

最新文章

Canal 入门教程:MySQL Binlog、Server 启动与客户端订阅

· 阅读需 3 分钟
Apache王也道长
软件开发者与技术作者

服务端​

服务端ip:192.168.1.101

  1. 下载canal 到/opt/softwares

    wget https://github.com/alibaba/canal/releases/download/canal-1.0.26-preview-2/canal.deployer-1.0.26-SNAPSHOT.tar.gz

Canal 通过模拟 MySQL 从库协议读取 binlog,适合缓存更新、搜索索引同步和异构数据复制。搭建时需要同时检查 MySQL 日志格式、复制权限、位点和下游消费幂等性。

记一次lombok的问题

· 阅读需 4 分钟
Apache王也道长
软件开发者与技术作者

一、案发现场​

此问题的案发现场是测试环境,为了减少不必要的类,我们这里用一个简单的例子进行模拟。

lombok version:1.16.14

jdk version:1.8

上代码: Lombok 同时依赖构建工具的注解处理和 IDE 支持,IDE 能识别并不代表命令行一定能编译。排查时应以 Maven 或 Gradle 的干净构建结果为准。

RocketMQ 集群搭建教程:NameServer、Broker 主从与 Console 部署

· 阅读需 5 分钟
Apache王也道长
软件开发者与技术作者

上一章讲解了rocketmq的消息发送与接收,那么这篇文章讲解如何安装rocketmq

单机搭建​

1. 安装包准备​

上传apache-rocketmq.tar.gz至/opt目录

http://download.csdn.net/download/xxzblog/10124706

机器ip:192.168.1.101

消息队列集群不能只验证进程存活,还应测试生产、消费、Broker 故障、磁盘压力和消费积压。部署拓扑与复制能力取决于具体 RocketMQ 版本。

RocketMQ 入门教程:NameServer、Broker、Producer 与 Consumer

· 阅读需 3 分钟
Apache王也道长
软件开发者与技术作者

本文讲解前不久进入apache顶级项目的RocketMQ,几个简单的例子讲解如何搭建RocketMQ,以及发送消息,接受消息。

理解 RocketMQ 应先掌握路由发现与消息存储:生产者从 NameServer 获取路由后向 Broker 发送,消费者再按消费组和队列拉取或接收消息。

Java 读取千万级数据库数据:流式游标、fetchSize 与分片处理

· 阅读需 2 分钟
Apache王也道长
软件开发者与技术作者

这篇文章主要讲解 如何从数据库加载1000w数据

加载大量数据​

例子:将1000w的数据从数据库导入到redis中

在mysql中的实现方法:1、limit 分页 2、游标 千万级数据不能简单一次性加载到 List 中,否则容易造成长事务、内存溢出和数据库压力。设计时应先明确是在线查询、离线导出还是数据迁移,再选择流式读取或分片处理。

Python 网络爬虫入门:URL 管理、下载、解析与数据输出

· 阅读需 5 分钟
Apache王也道长
软件开发者与技术作者

这篇文章主要讲解 python如何实现简易爬虫

爬虫流程​

打开种子url ----> 获取种子url页面中所有的url ----> 判断是否被爬取过,未爬取过的url添加到url列表中 ----> 解析页面中需要的信息 ----> 写入数据库 编写爬虫前应查看站点服务条款和 robots 规则,并控制请求频率。公开页面可访问不等于可以无限抓取,涉及账号、个人信息或访问控制时必须获得授权。

Apache HttpClient Cookie 教程:CookieStore、会话保持与持久化

· 阅读需 2 分钟
Apache王也道长
软件开发者与技术作者

这篇文章主要讲解 httpclient如何使用cookie

我们在使用httpclient模拟登陆时,要保留登陆时服务器返回的cookie,这时我们要使用BasicCookieStore Cookie 通常承载会话状态,调试时应关注 Domain、Path、Secure、HttpOnly、SameSite 和过期时间。日志中不要输出真实会话 Cookie,以免造成账号泄露。

总访问量 -- · 访客数 --