1. 概述
管道任务运行后,用户常常有以下问题:
我的工程最多能同时运行多少个管道任务
管道任务手动暂停、异常终止后怎么处理
管道任务运行后,怎么新增/删除表
原任务无法运行,需要重新配置任务,进入编辑任务界面,发现某设置项不能修改怎么办
怎么处理脏数据
怎么查看管道任务日志
本文为您解答这些问题。
2. 数据管道并发数说明
FDL 最多能启动的数据管道任务数说明如下:
4.1.4 之前版本
同时运行的管道任务数与 资源控制 中的「内存限制」值有关。「内存限制」值/1024向下取整,比如 2049/1024 就是可以运行两个管道任务。
4.1.4 及之后版本
可在 并发控制 中修改。
3. 管道任务手动暂停、异常终止后怎么处理
管道任务会记录断点,再次启动时,会接着之前的断点继续同步数据。
例如:
管道任务在03-21日读取了数据,03-23日停掉,03-27日启动,03-23到03-27日的数据会同步过去。
4. 管道任务运行后,怎么新增/删除表
修改管道任务配置前,需要先暂停管道任务。如下图所示:
注:管道任务处于全量同步阶段时,不建议暂停任务,否则全量同步阶段的表数据不会被保留。
然后点击「编辑」按钮,可编辑管道任务:
注:编辑界面的修改范围请参见:任务运行状况
新增来源表
进入管道任务编辑界面,新增源表即可,新增的表将按照所选的同步类型进行同步:
1)同步类型为存量+增量:新增的表需要进行存量同步,那么增量同步将在后台挂起,等新增的表存量跑完,再继续开始增量
2)同步类型为仅增量:
修改了增量起点:所有表(包含新增的表)按照指定增量起点进行同步
没有修改增量起点:新增表,按照任务内置的断点进行同步
如下图所示:
删除来源表
进入管道任务编辑界面,删除源表即可。删除同步对象并保存时,将同时删除此对象相关的所有关联信息,任务启动时,将不再同步对应表。
5. 原任务无法运行,需要重新配置任务
以下场景中:
任务运行过程中,由于种种原因,原任务无法正常运行,需要重新配置任务才能继续,如历史断点失效、主库宕机等。
在任务配置过程中,由于配置错误(主要是映射配置错误导致自动建表失败),导致初始化运行失败,此时需要修改任务继续。
由于编辑管道任务的范围有限,此时可以复制管道任务,对管道任务重新配置。如下图所示:
复制后的管道任务,可修改范围更广:
对于复制后的管道任务:
用户可选择管道任务复制前的目标表,因为若目标数据表结构(表名和字段名)和来源表一致:首次数据同步会清空目标数据表数据,然后全量同步数据,此后增量同步。所以,复制任务不会影响数据。
用户也可新建目标表,存放数据。
之前的旧管道任务可以删除。
6. 管道任务产生脏数据
数据管道脏数据定义
与目标字段配置不匹配而无法写入的数据(目标字段长度/类型不匹配、目标字段缺失、违反目标字段非空约束等)。
注:对于管道任务,主键冲突不会产生脏数据,主键相同的数据,新数据将覆盖旧数据。
脏数据阈值
管道控制 步骤中,可设置脏数据阈值,达到阈值时将中止任务。脏数据阈值的定义是,某个任务自建立至今的整体阈值。如下图所示:
注:脏数据阈值多大能设置 10w 行,建议用户定期处理下脏数据。
怎么处理脏数据
详情请参见:脏数据处理
7. 怎么查看数据管道日志
管道任务统计日志、管道任务运行日志查看请参见:单个管道任务管理
用户若需要查看更详细的日志,可在「管道控制」步骤中,将管道任务的日志等级修改为 info ,打印详细的 fanruan.log 日志,供用户查看。如下图所示: