1. 概述编辑
1.1 版本说明
| FineDataLink 版本 | 功能变动 |
|---|---|
| 2.0 | 新增功能「资源控制」，详情参见本文第 5 章 |
| 4.0.27 |
|
| 4.0.29 |
|
| 查看历史版本更新 | ||||||||||||||
|
1.2 应用场景
通过任务运维，用户可以了解到整体任务的执行情况，也可以对定时任务的资源进行控制。
用户定时任务较多，若在单个任务中去配置该任务的执行频率较为麻烦，希望可以同时为多个任务设置执行频率。
用户定时任务较多，当任务的通知对象发生变更时，需要修改所有定时任务，希望能批量修改任务结果通知。
1.3 功能简介
任务运维支持「运行记录」、「调度计划」、「任务管理」和「资源控制」。
运行记录：运行记录页面有两个 Tab ，分别为「任务」和「计划」。「任务」Tab下展示定时任务运行情况，包括运行状态、任务耗时、触发方式等。「计划」Tab下展示所有调度计划的运行情况。
调度计划：可在此处为多个/单个定时任务设置执行频率、修改和删除任务的执行频率。
注：「调度计划」处设置的调度，4.0.27 版本暂不支持在 资源迁移 中导出。
任务管理：任务管理界面展示定时任务数量和任务调度状态以及调度执行情况。可批量设置结果通知。
资源控制：限制「数据平台」占用的内存和带宽，减弱在集成部署下对 FineReport 或 FineBI 服务的影响。同时在独立部署时，可控制数据开发所占用的内存资源。
2. 运行记录编辑
运行记录页面有两个 Tab ，分别为「任务记录」和「运行计划」。
「任务记录」Tab 下展示定时任务运行情况，包括运行状态、任务耗时、触发方式等。
「运行计划」Tab 下展示所有调度计划的运行情况。
2.1 查看任务运行情况
2.1.1 任务运行概览
点击「任务运维>定时任务>运行记录」，选择指定的任务或者文件夹，即可看到该文件夹下任务的运行情况，包括运行状态、任务耗时、触发方式等。如下图所示：
2.1.2 筛选任务运行情况
可以筛选「运行状态」、「触发方式」、「脏数据」，也可通过「任务名称」搜索任务。
若定时任务运行过程中产生了脏数据，可显示脏数据行数。如下图所示：
2.1.3 查看任务运行日志
1）在任务运行记录界面点击「查看详情」，即可看到当次任务运行的日志记录，如下图所示：
2）同时右下角会显示节点执行状态，鼠标悬浮执行状态，可查看节点执行日志。如下图所示：
对于正在运行的任务，任务日志界面支持查看实时运行状态，如下图所示：
2.1.4 自定义表头字段
用户可自定义表格展示的字段以及展示的字段顺序（不能对「查看详情」和「操作」这两个字段做操作）。如下图所示：
2.2 重试任务
点击「查看详情」按钮后，当次任务运行的日志记录界面中可看到 3 个按钮，重试记录、重试、编辑任务。如下图所示：
重试按钮：
1）点击「重试」按钮，界面如下图所示：
各设置项介绍如下表所示：
注：重新运行任务可能导致目标端存在重复数据，用户需根据实际情况进行判断处理。
| 设置项 | 说明 |
|---|---|
| 指定范围重试 | 选择「指定范围重试>节点名称」后，右下角可以选择「重试节点」和「重试节点及下游」 |
| 任务级重试 | 定时任务整体失败，对任务整体进行重试 |
| 重试节点 | 1）适用场景：某个独立节点运行失败，与其他节点无显著关系，如一个「任务调用」节点运行失败 2）功能简介：选择「指定范围重试」才有该选项；用户选择出现脏数据的节点，进行指定重新运行，运行粒度为任务节点，不支持「数据转换」节点中的算子 |
| 重试节点及下游 | 1）适用场景：用户将一个业务闭环拆解为多个节点，如节点 A 输出参数，节点 B 引用节点 A ，此时出错需要重新运行节点 A+B 2）功能简介：选择「指定范围重试」才有该选项；用户选择出现脏数据的节点，运行该节点及后面的节点（运行情况与节点本身的执行情况和连线情况有关） 运行粒度为任务节点，不支持「数据转换」节点中的算子 |
| 参数设置 | 进行重试时，用户可以对本次重试时的参数进行临时配置，配置结果只影响本次重试运行、不修改实际任务配置 任务重试时，支持临时指定任务中「参数设置」中的参数，指定的值覆盖原有参数值，支持额外添加参数，添加参数视为在「参数设置」中添加参数
|
产生脏数据后，重试的处理场景：
| 场景 | 增量同步的方式 | 重试后是否会存在数据问题 | 建议处理措施 |
|---|---|---|---|
| 全量同步 | - | 否 | - |
| 增量同步-使用时间戳 | 动态参数：如：配置 now-1 作为数据范围，每次更新前一天数据 | 是 | 在重试时，用户可以指定本次运行的临时任务参数值 且用户的任务设计需要支持幂等，即同一数据范围的定时任务需要支持多次运行 |
| 获取目标表的最新数据时间戳 如：每次任务先从目标表获取最大的时间戳，作为本次同步的起始时间 | 是 | 用户需要手动删除目标表大于本批次的数据，以进行重试 且用户的任务设计需要支持幂等，即同一数据范围的定时任务需要支持多次运行 | |
自定义配置表存储断点 如：每次任务最后一步存储本次同步的最大时间至一张表存储 | 是 | 用户需要手工修改断点值，以进行重试 且用户的任务设计需要支持幂等、即同一数据范围的定时任务需要支持多次运行 | |
| 全表比对 | - | 否 | - |
重试记录：
点击「重试记录」按钮，可查看任务重试的记录。如下图所示：
编辑任务按钮：
点击右上角的「编辑任务」即可进入任务编辑界面，如下图所示：
2.3 运行计划
1）「运行计划」Tab下展示所有调度计划的运行情况。如下图所示：
2）点击「查看详情」，可查看配置该调度的定时任务的运行情况。如下图所示：
3）点击
「查看计划」按钮，将跳转到「调度计划」页面，展示该调度的详细配置，可在此页面对配制好的调度修改、删除。如下图所示：
3. 调度计划编辑
3.1 调度计划概览
「调度计划」页面展示所有已配置的调度及配置详情。如下图所示：
3.2 查看调度运行详情
点击「查看详情」按钮，可查看配置该调度的定时任务的运行情况。如下图所示：
3.3 新增调度计划
注：每个调度计划中最多可以添加 1000 个任务。
1）点击「添加计划」按钮，可为单个/多个定时任务设置调度。如下图所示：
调度计划名称：不可重名，不可为空，任务名不可包含特殊字符?*:<>|"\/
2）若在任务中配置调度，在「调度计划」中，调度计划名没有超链，字体颜色为黑色；若在「调度计划」中配置调度，调度计划名添加了超链，为蓝色字体。点击超链，将展示已配置的调度详情。如下图所示：
3.4 修改、删除调度计划
修改调度计划：点击「修改」按钮即可。
删除调度计划：关闭「调度状态」按钮，点击「删除」按钮即可。
注：用户若拥有某个调度计划下部分定时任务的管理权限，则仅支持查看该调度计划；若拥有某个调度计划下全部定时任务的管理权限，则支持编辑调度计划。
3.5 筛选调度计划
点击「筛选」按钮，设置筛选条件后，可筛选出需要的调度计划。如下图所示：
4. 任务管理编辑
任务管理界面展示定时任务数量和任务调度状态以及调度执行情况。
4.1 任务管理概览
点击「任务运维>定时任务>任务管理」，选择指定的任务或者文件夹，即可看到该文件夹下任务的数量和设置调度任务的任务量。其中调度计划数为该任务设置执行频率的个数。
如下图所示：
点击
「编辑」按钮，可配置该任务的调度、超时重试、结果通知。如下图所示：
注：调度配置、超时重试。结果通知详情请参见：定时任务调度配置
点击查看任务按钮，可跳转到定时任务的开发页面。如下图所示：
4.2 批量设置结果通知
可批量设置结果通知。如下图所示：
4.3 查看任务的调度
点击
，可查看任务设置的具体调度。如下图所示：
若调度是在定时任务的「调度配置」中设置的，可在此处修改和删除。点击「删除」按钮前，需要先关闭「调度状态」按钮。如下图所示：
4.4 筛选任务
可根据是否配置调度、是否配置超时限制、是否配置失败重试、是否配置结果通知筛选任务。如下图所示：
4.5 任务明细
点击「查看详情」，即可跳转至该任务对应的「运行记录」界面，可以查看该任务运行的历史情况，如下图所示：
5. 资源控制编辑
集成部署时，「数据平台」是跟 FineReport 、FineBI 部署到一起的，这样可能会存在 ETL 任务的调度运行影响 FineReport 、FineBI 稳定性的问题。为了减弱其对 FineReport 或 FineBI 服务的影响，现提供资源控制功能，用户可自定义数据平台占用的内存和带宽。
独立部署时，可控制数据开发所占用的内存资源。
注：内存和带宽均支持小数。
内存限制：可运行任务的最大内存占用值，若设定值超过系统可用内存值，到底时会自动限制内存占用。
带宽限制：可设置是否限流。
若出现如下报错「超出内存限制」，可以修改内存限制，如下图所示：
6. 注意事项编辑
若用户在查看任务运行记录详情的时候，运行记录详情空白，如下图所示：
可以检查 websorket 端口是否开放，在控制台中输入Dec.socket.connected，如下图所示：
如果使返回值结果为 false ，则需要参考 WebSocket 端口配置方法，修改端口号。