如何从数据库加载1000w数据
· 阅读需 2 分钟
这篇文章主要讲解 如何从数据库加载1000w数据
加载大量数据
例子:将1000w的数据从数据库导入到redis中
在mysql中的实现方法:1、limit 分页 2、游标 千万级数据不能简单一次性加载到 List 中,否则容易造成长事务、内存溢出和数据库压力。设计时应先明确是在线查询、离线导出还是数据迁移,再选择流式读取或分片处理。
这篇文章主要讲解 如何从数据库加载1000w数据
例子:将1000w的数据从数据库导入到redis中
在mysql中的实现方法:1、limit 分页 2、游标 千万级数据不能简单一次性加载到 List 中,否则容易造成长事务、内存溢出和数据库压力。设计时应先明确是在线查询、离线导出还是数据迁移,再选择流式读取或分片处理。