历史版本2 :定时任务并发数与脏数据说明 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 问题描述编辑

由于 FineDataLink 中定时任务需要占用内存和并发资源等,因此用户可能需要根据实际的使用情况进行任务调整。

阅读此部分,你可以解决和理解如下问题:

  • 问题一:如何配置数据同步任务的并发数?

  • 问题二:为什么我的定时任务跑的比较慢,实际运行的并发数不够?

  • 问题三:为什么我的定时任务并发数配置的很高,但是任务运行速度仍然很慢?

2. 解释说明编辑

并发数是指可以从源端并行读取和向目标存储端并行写出数据的最大线程数

并发数详细说明参见:并发控制

为了提高数据同步的效率,可以适当调整任务的并发数,以缩短数据搬迁需要的时间。在产品中配置位置如图所示:


3. 任务并发数配置最佳实践编辑

  • 任务并发数越大,任务运行需要抢占的资源越多,,即前面提交任务先抢占资源运行,后提交的任务后抢占资源运行。建议合理配置任务并发数,避免大并发任务长时间运行,进而阻塞后续任务获得资源得到执行。

  • 小数据量的数据表建议配置小并发,小并发需要的执行资源比较少,有利于任务快速抢占碎片资源得到运行。由于数据量比较小执行耗时可以控制在合理的范围内。

  • 同一个数据源上同步任务,建议错峰运行,可以降低对数据源访问的并发压力。