历史版本27 :定时任务概述 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 1.9 | - |
| 4.0.14 | 新增对节点使用用法提示，详情参见本文第二章 |
1.2 功能简介
本文对「数据开发」模块进行简单介绍。
2. 节点列表编辑
节点是组成定时任务的基本单位，多个节点通过线条连接后可确定执行流程，进而组成一个完整的定时任务。FineDataLink 目前有如下节点：
节点的基本介绍如下表所示：
| 节点名称 | 应用场景 | |
|---|---|---|
| 通用 | 数据同步 | 将数据从一个数据库抽取到另一个数据库 |
| 数据转换 | 可执行数据关联、同步删除数据等操作 | |
| 数据同步与数据转换的区别请参见：数据同步与数据转换的区别 | ||
| 脚本 | SQL脚本 | 写 SQL 语句对数据库中的数据进行处理 |
| Shell脚本 | 通过执行 shell 脚本，对接外部的独立数据处理过程，例如调用Kettle任务、调用Python计算任务等 | |
| 流程 | 参数赋值 | 用参数承载上游节点运行的结果，然后在下游节点中使用该结果 |
| 条件分支 | 基于一个来自于上游或者系统的条件，判断是否继续运行下游节点或者运行下游节点里面的哪一个 | |
| 虚拟节点 | 希望多个节点可以并行运行后再转到下游节点，可借助该节点实现 | |
| 调用任务 | 可以在当前任务中调用其他任务，这样可以直接设置任务间执行的依赖关系，实现跨任务编排 | |
| 消息通知 | 可将任务调度结果以企业微信群机器人/邮件/钉钉/短信的形式通知给指定用户 | |
| 循环容器 | 可满足循环取数的场景 | |
| 其他 | ETL任务和节点添加备注 | 需要为节点或任务添加备注，例如在任务中备注该任务的具体使用场景。 |
鼠标悬浮至节点列表，会出现节点的用法解释，用户可快速查看当前节点任务用法。如下图所示：
3. 其他介绍编辑
| 内容 | 参考文档 |
|---|---|
| 数据开发模块界面介绍 | 数据开发界面介绍 |
| 定时任务设计时，数据读取和数据写入支持的数据源 | 数据开发支持的数据源类型 |
| 定时任务编辑界面，支持的快捷键 | 快捷键介绍 |
| 数据开发中的相关概念介绍 | FineDataLink词汇表 |
| 设置定期自动执行任务的方法 | 定时任务调度配置 |
| 通过任务运维，用户可以了解到整体任务的执行情况，也可以对定时任务的资源进行控制 | 定时任务运维 |
4. 注意事项编辑
4.1 迁移和删除任务
FineDataLink中的任务保存在路径：FineReport_10.0\webapps\webroot\WEB-INF\dpworks下，如下图所示：
若用户想迁移任务，可将 dpworks 下对应任务文件夹从 A 工程复制到 B 工程对应路径下，迁移后需要重新进行调度配置
用户不能通过删除任务文件夹的方式来删除任务，直接删除任务文件夹会导致FineDataLink前端报错。
4.2 FineDB配置相关
在 FineDB 中， fine_dp_conf_entity 表记录任务配置信息，fine_dp_execute_record 表记录任务执行信息，其他数据平台工具相关的表包括：fine_dp_conf_entity_value、fine_dp_data_slice、fine_dp_dateset，注意不要操作以上表的数据或者误删表，否则会影响 ETL 作业工具的使用。
4.3 SQL 语句注释说明
4.0.17 版本之前，FineDataLink 忽略对 SQL 语句注释的处理；4.0.17 及之后版本，SQL 语句的注释交给数据库执行。
用户需注意 SQL 语句注释的书写规范：单行注释之后要有一个空格；Hive 数据源不支持多行注释。