历史版本5 :批量管道任务运维 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
1.1 版本说明
FineDataLink 版本 |
---|
4.0.4 |
1.2 应用场景
在配置数据管道任务以后,想要对管道任务进行统一的管理。
比如停止任务、删除任务、检查任务运行状态、同步性能、对异常情况进行监控和处理。
1.3 功能说明
管道任务运维支持查看任务运行状态、查看数据同步性能、检查异常情况、以及对异常进行处理。
2. 查看任务概览编辑
点击「任务运维>管道任务」,在任务概览界面可以看到任务运行的情况,如下图所示:
3. 管理任务编辑
点击「任务运维>管道任务」,在任务管理界面,可以进行任务的管理。
2.1 查看任务运行状态
查看输入总行数、待同步量、脏数据量等等,如下图所示:
2.2 查看读写统计
点击对应的管道任务下的「查看详情」,即可进入管道任务管理界面,查看管道任务的执行情况,如下图所示:
2.3 脏数据重跑
同时如果同步任务存在脏数据,可以点击「脏数据重跑」,显示当前实时同步任务中产生脏数据的数据表,修改错误后,点击「重新同步」,可重新执行数据管道任务,如下图所示:
重新同步功能说明:
1)「运行状态」属于运行中:仅可对同步阶段属于「增量」的表进行重新同步,对处于「全量」阶段的表不支持重新同步。
2)「运行状态」属于暂停运行或者异常终止时:始终支持重新同步。
在进行重新同步时:
1)「运行状态」属于运行中:整体任务无须暂停,只暂停需要重新同步的表的增量同步,然后执行清空目标表,先全量,再增量同步;
2)「运行状态」属于暂停运行或者异常终止时:点击「重新同步」并不会立刻执行,而是在任务开始实际运行时,再执行重新同步。
注:若数据表开始重新同步,则删除该数据表历史的数据同步记录(包含:输入、待同步、输出、脏数据等记录)。若此时仍然出现脏数据,则再次记录脏数据的条数。
2.4 启动/直接编辑/删除任务
「运行状态」属于「待启动」、「异常中止」、「暂停运行」的任务均可编辑和删除,「运行中」的任务不支持编辑和删除。
对于「运行中」的任务,需要先暂停,方可编辑或者删除。