1. 概述
1）数据库表中存在大量数据，若一次性取出，会占用过多数据库内存或网络带宽，影响其他业务。
2）API 接口中，有大量数据，调用一次 API 只能取出某个时间段的数据或者某页数据。
本文提供取数方案。
2. 索引
| 数据特点 | 取数思路 | 参考方案 |
|---|---|---|
数据库表数据、API接口数据：存在日期字段 | 生成日期序列，循环多次取数 | 日期序列循环取数（日期序列在循环容器外生成） |
| 日期序列循环取数（日期序列在循环容器内生成） | ||
| 数据库表数据 | 分页取出数据 | 大数据量分区分页并发查询增量同步 |
| API接口数据 | API采集数据专题 |
上一篇：任务调度专题
