1. 概述编辑
1.1 版本说明
| FineDataLink 版本 | 功能变动 |
|---|---|
| 1.6 |
|
| 4.1.3 | 1）数据来源Tab下，「数据源」中选择DB表输入类型时，新增「配置方式」设置项，「配置方式」设置项中可选择SQL、选表（本版本新增功能）、存储过程（本版本新增功能）
2）Doris、StarRocks 数据源作为写入端，支持自动建表，详情参见本文 4.1.2 节 3）Hive、星环 TRANSWARP INCEPTOR数据库写入数据时，支持分区建表、分区写入 4）可修改目标表的字段名 5）通过「手动建表」功能，可自定义建表的SQL语句，例如修改字段名、字段类型、定义各种表的特性等。 |
| 查看历史版本更新 | ||||||||||||||||||||||||||||||||
|
1.2 应用场景
FineDataLink 数据同步功能，方便用户通过定义来源与去向数据源，并结合调度任务和参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。
注：若用户想要同步的数据需要进行一些复杂数据清洗处理，建议使用数据转换
1.3 功能简介
通过「设置需要抽取的数据」>「设置数据去向及字段映射」>「设置数据写入方式」将来源端数据直接抽取并写入目标数据库中。
| 功能 | 描述 |
|---|---|
| 数据来源 | 设置源表，从哪个数据库的哪张表抽取数据，可写 SQL 语句；4.1.3 及之后版本，支持返回存储过程结果集作为表输入。 |
| 数据去向与映射 | 设置目标表，抽取的数据保存到哪个数据库的哪张表下，可存放到已有的表，也支持自动新建一个表；设置源表跟目标表之间的字段映射关系，支持手动调整映射关系。 |
| 写入方式 | 有三种写入方式：追加写入数据、清空目标表，再写入数据、基于标识字段，追加/更新/删除数据 |
注1：数据同步后的定时更新可以参考：数据更新专题
注2：4.0.18 版本移除了「比对字段」和「更新策略」，通过「数据比对」+「DB表输出」的组合方式，可完成增量插入、删除、更新的操作。4.0.18 之前版本用户请查看 历史版本
2. 前提条件编辑
拥有能够进行数据开发的 FineDataLink 系统用户：用户管理
对用户进行了数据开发权限分配：数据平台使用权限、定时任务管理权限
配置了需要接入 FineDataLink 作为数据来源的数据连接，详情参见：[通用]配置数据连接
3. 使用限制编辑
4. 功能概述编辑
支持数据库、API、文件等多种数据源，从数据库取数时，可写 SQL 、选表或者存储过程实现数据处理。
数据同步的支持情况如下图所示：
| 功能 | 描述 |
|---|---|
| 异构数据源之间的数据同步 | 目前支持关系型数据、非关系型数据、接口数据、文件数据等 30多种数据源之间的数据同步，通过定义「数据来源」和「数据去向」实现任意结构化、半结构化数据之间的数据传输。 支持的数据源详情参见：数据开发支持的数据源 |
| 数据同步的场景 | 数据同步支持单表同步至目标端单表同步场景。同时，结合 FineDataLink 调度参数，实现增量数据和全量数据周期性写入到目标表功能。 数据同步任务使用参数，可实现批量将历史数据同步至目标数据库或表指定分区。 数据同步方式有「增量同步」、「全量同步」、「比对同步」，详情参见：数据同步方案概述 调度任务配置和通知提醒详情参见：定时任务调度配置 |
| 数据同步任务配置 | 可通过以下方式配置是数据同步任务： |
| 任务运维 | 任务运维支持「运行记录」、「任务管理」和「资源控制」
详情参见：定时任务运维概述 |
4.0.28 及之后版本，若用户为以下场景时（来源表和目标表都不是简道云数据）：
没有标识字段，希望将筛选出的数据，做追加或者更新或者删除操作（无标识字段时仅允许选择一种操作类型）。
数据已经有了标识字段和标识值，需要对数据进行追加/更新/删除操作。
可通过「数据同步」节点实现，详情请参见：数据同步-基于标识字段，追加/更新/删除数据
5. 操作流程编辑
6. 示例编辑
| 简介 | 文档 |
|---|---|
| A 数据库中的表数据同步到 B 数据库表中 | 数据同步-数据库表 |
| API 接口中的数据同步到数据库表中 | 数据同步-API |
| 服务器数据集中的数据（例如 Excel、CSV 数据），同步到数据库表中 | 数据同步-Excel |
| 数据库中的数据同步到 FineBI 中 | 数据同步至FineBI |
| 简道云中的数据同步到数据库表中 | 数据同步-简道云数据 |
| 使用数据同步节点实现数据的增删改 | 数据同步-基于标识字段，追加/更新/删除数据 |