1. 概述
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 1.9 | - |
| 4.0.14 | 鼠标悬浮至节点列表，会出现节点的用法解释，用户可快速查看当前节点用法 |
| 4.0.28 | 新增「Python脚本」节点，支持直接调用 Python 脚本 |
| 4.0.29 | 新增「Bat 脚本」节点，支持调用远程 Windows 环境中的 Bat 脚本文件 |
| 4.1.5.5 | 新增「文件传输」节点，在API接口/本地/SFTP/FTP之间进行文件下载/上传，实现文件移动 |
| 4.1.6.3 | 定时任务禁止被多人同时编辑 |
1.2 功能简介
「数据开发」模块支持在可视化界面使用各个节点和算子进行数据的抽取、转换和装载，并可以通过定时调度功能自动运行定时任务，帮助您轻松构建离线数仓，保证数据生产的高效稳定。
注：数据开发部分相关概念说明详情参见：数据开发概念
2. 功能概述
| 类型 | 描述 |
|---|---|
| 数据源 | FineDataLink 数据开发模块支持多种数据源，可以将多种来源数据进行数据处理和集成。 详情请参见：定时任务支持的数据源 |
| 任务管理 | 数据开发中通过「定时任务」存放设计好的业务流程。 通过「文件夹」对定时任务进行管理。 |
| 任务开发 |
提供通用的同步节点，支持跨库数据同步和对数据进行清洗计算。 提供多种脚本类节点，例如调用Python 脚本、Shell 脚本等等。 提供处理复杂逻辑的流程类节点，可结合通用节点进行复杂逻辑处理。例如条件分支、循环执行、输出结果传递等复杂流程控制。
可通过拖拽组件方式快速实现任务的混合编排。 提供智能化的SQL编辑器。 FineDataLink 支持的节点类型，详情请参见本文第三章 |
| 任务调度 |
支持设置任务超时限制；是否失败重跑； 支持设置调度任务优先级；支持设置任务脏数据容忍情况；支持任务结果通知；支持设置任务日志等级
支持设置调度任务的开始日期、执行频率。 支持设置任务的调度依赖，例如设置任务 A、任务 B 执行成功后再执行任务 C 。 |
| 任务运维 | 支持灵活调度、运行状态实时监控，便捷的操作将会释放运维人员巨大的工作量。 详细介绍请参见：定时任务运维 |
| 其他 |
|
3. 节点介绍
FineDataLink 数据开发模块提供多种类型的节点，多种节点配合使用，满足您不同的数据处理需求。
节点是组成定时任务的基本单位，多个节点通过线条连接后可确定执行流程，进而组成一个完整的定时任务。FineDataLink 目前有如下节点：
| 分类 | 说明 | 节点名称 | 应用场景 |
|---|---|---|---|
| 通用 | 用于数据同步 | 数据同步 | 将数据从一个数据库抽取到另一个数据库 |
| 用于复杂数据清洗计算 | 数据转换 | 可执行数据关联、同步删除数据等操作 | |
| 多种类型的下载/上传文件 | 文件传输功能说明 | 在API接口/本地/SFTP/FTP之间进行文件下载/上传，实现文件移动 注：仅对文件流本身做同步，而非取文件内容数据。 | |
| 数据同步与数据转换的区别请参见：数据同步与数据转换的区别 | |||
| 脚本 | 通过控制脚本语法实现数据处理 | SQL脚本 | 写 SQL 语句对数据库中的数据进行处理 |
| Shell脚本 | 通过执行 shell 脚本，对接外部的独立数据处理过程，例如调用Kettle任务、调用Python计算任务等 | ||
| Python脚本 | 支持直接调用 Python 脚本 | ||
| Bat 脚本 | 支持调用远程 Windows 环境中的 Bat 脚本文件 | ||
| 流程 | 进行复杂逻辑处理的流程节点 | 参数赋值 | 用参数承载上游节点运行的结果，然后在下游节点中使用该结果 |
| 条件分支 | 基于一个来自于上游或者系统的条件，判断是否继续运行下游节点或者运行下游节点里面的哪一个 | ||
| 虚拟节点 | 希望多个节点可以并行运行后再转到下游节点，可借助该节点实现 | ||
| 调用任务 | 可以在当前任务中调用其他任务，这样可以直接设置任务间执行的依赖关系，实现跨任务编排 | ||
| 消息通知 | 可将任务调度结果以企业微信群机器人/邮件/钉钉/短信的形式通知给指定用户 | ||
| 循环容器 | 可满足循环取数的场景 | ||
| 其他 | 任务备注说明 | ETL任务和节点添加备注 | 需要为节点或任务添加备注，例如在任务中备注该任务的具体使用场景。 |
鼠标悬浮至节点列表，会出现节点的用法解释，用户可快速查看当前节点任务用法。如下图所示：
4. 操作流程
| 顺序 | 说明 | 文档 |
|---|---|---|
| 1 | 配置定时任务设计时，数据读取和数据写入的数据源 | [通用]配置数据连接 |
| 2 | 创建定时任务，并进行定时任务的开发 | 参考各节点功能文档 |
| 3 | 通过手动执行任务，根据任务运行日志进行任务调试 | |
| 4 | 设置定时任务调度执行情况 | |
| 5 | 对已经设置的定时任务进行任务管理和资源控制 |
5. 注意事项
5.1 SQL 语句注释说明
4.0.17 版本之前，FineDataLink 忽略对 SQL 语句注释的处理；4.0.17 及之后版本，SQL 语句的注释交给数据库执行。
用户需注意 SQL 语句注释的书写规范：单行注释之后要有一个空格；Hive 数据源不支持多行注释。
上一篇：关闭Oracle归档日志
