1. 概述
当用户设计好定时任务后,可以管理定时任务、监控任务运行状态和查看任务运行日志等。
本文列举定时任务的常见运维操作。
2. 任务运行信息
2.1 查看运行记录
2.1.1 查看最近一次运行日志
定时任务运行后,可在日志 Tab下 查看详细运行信息。如下图所示:
2.1.2 查看历史运行日志
用户若想查看某个定时任务运行过的所有日志,可到「运维中心>定时任务>运行记录」中,展示所有周期的全量运行记录。如下图所示:
注:定时任务发布到生产模式运行后,才能在运行记录中查看相关信息。
2.1.3 查看详细运行日志
若想看到较详细的日志,可将该任务的日志等级设置为 INFO。如下图所示:
详情请参见:任务控制-任务属性
注:调整日志等级后,需要再次运行定时任务,日志信息才是详细的。
日志等级设置为 INFO 后,可在日志中看到:
使用的参数名、参数值。
实际执行的脚本内容。
脚本执行后输出的信息。
打印API请求的详细内容。
Kettle 调用结果。
等等。
2.1.4 查看完整运行日志
日志 Tab 下展示的日志信息不是完整的,比如「循环容器」节点执行后,只展示近 5 次的循环信息。用户若想查看完整的日志信息,可到%FDL_HOME%\logs\fanruan.log中查看。
2.2 清理运行日志
日志类型 | 日志内容 | 清理方法 |
---|---|---|
业务日志-执行记录 | 1)定时任务运行记录 2)不支持日志的分级 3)4.1.7.3 及之后版本,保存在:
| 日志简介 |
业务日志-诊断日志 | 1)读写过程日志/异常和错误日志 2)默认存储为文件,每条运行记录生成一个文件(路径:%FDL_HOME%\webapps\webroot\WEB-INF\dpworks\record |
2.3 导出日志
支持导出 fanruan.log、fanruan.gc.log、catalina.out、catalina.log 等日志。如下图所示:
详情请参见:平台日志
2.4 将任务运行结果发给其他系统
用户想把定时任务运行结果,转发给其他系统。此时可以调用 查询实例列表接口 ,调用该接口后,会返回定时任务运行结果。
2.5 运行/预览结果与与实际不符
2.5.1 日志显示条数与实际条数不符
用户运行任务后,发现日志显示插入了2条数据,但目标表中实际插入了一条数据,此时建议排查下主键设置,是否配置了主键冲突则覆盖写入。
2.5.2 日志显示时间与实际时间不符
前端日志显示 17:08,执行日志显示 16:58,此时建议排查服务器时区,详情可参见:FineDataLink服务器时间和数据库时间不一致
2.5.2 数据预览结果与预期不符
节点/算子的预览结果受 样本设置 功能控制,样本设置中默认选取前 5000 条数据参与后续的处理与运算,若数据量很多,后续节点预览时,预览效果会与实际预期效果有差别。
但不会影响任务的实际运行结果,只是影响节点/算子的预览结果。用户可在「样本设置」中选择全量数据。
若数据量过多,比如有 1000w 数据,不建议「样本设置」中设置「全量数据」,不然会导致前端无响应。
3. 任务配置
3.1 查看任务配置操作记录
用户想查看,是谁修改了定时任务,可到「管理系统>智能运维>平台日志>操作日志」下查看修改记录。如下图所示:
用户还可点击上图的「导出」按钮,导出操作日志。
3.2 任务运行通知
1)若希望:
通知内容 | 通知渠道 |
---|---|
任务异常通知、脏数据通知、源表结构变化通知 | 平台、邮件、短信、钉钉群机器人、飞书群机器人、企业微信群机器人 |
可到 任务控制-结果通知 中进行设置。
注:可在 定时任务运维-任务管理 中批量设置「结果通知」;定时任务发布到生产模式后,结果通知功能才生效。
2)用户若希望定时任务运行成功也进行通知,需要「内置参数+消息通知节点」组合使用实现。
比如使用${节点名称.opresult}参数,可将当前任务指定节点的运行结果通过「消息通知」节点发送给指定负责人。如下图所示:
3)用户希望多个定时任务统一报警,只发送一条信息给指定用户,此时可参考 定时任务运维-运行监控 文档进行配置。
3.3 失败重跑
3.3.1 调用定时任务节点失败重跑
若定时任务中使用了 调用定时任务节点 ,设置失败重试后,重跑时,是重新执行整个子任务,而非子任务的失败节点。
3.3.2 失败重跑时之前插入一半的数据是不是还存在
是的,如果想避免这种情况,可以使用 事务控制 功能。
4. 任务状态
4.1 终止多个排队任务
可参考 批量删除运行记录/批量终止定时任务 章节内容进行参考。
5. 任务调度专题
详情请参见文档:任务调度专题
6. 定时任务脏数据处理说明
详情请参见:定时任务脏数据处理说明
7. 定时任务排队问题排查方案
详情请参见:定时任务排队问题排查方案