1. 概述
1.1 版本说明
FineDataLink 版本 | 功能变动 |
---|---|
1.6 |
|
4.1.3 | 1)数据来源Tab下,「数据源」中选择DB表输入类型时,新增「配置方式」设置项,「配置方式」设置项中可选择SQL、选表(本版本新增功能)、存储过程(本版本新增功能)
2)Doris、StarRocks 数据源作为写入端,支持自动建表,详情参见本文 4.1.2 节 3)Hive、星环 TRANSWARP INCEPTOR数据库写入数据时,支持分区建表、分区写入 4)可修改目标表的字段名 5)通过「手动建表」功能,可自定义建表的SQL语句,例如修改字段名、字段类型、定义各种表的特性等。 |
查看历史版本更新 | ||||||||||||||||||||||||||||||||
|
1.2 应用场景
FineDataLink 数据同步功能,方便用户通过定义来源与去向数据源,并结合调度任务和参数使用,将源端数据库中全量或增量数据的同步至目标数据库中。
注:若用户想要同步的数据需要进行一些复杂数据清洗处理,建议使用数据转换
1.3 功能简介
通过「设置需要抽取的数据」>「设置数据去向及字段映射」>「设置数据写入方式」将来源端数据直接抽取并写入目标数据库中。
功能 | 描述 |
---|---|
数据来源 | 设置源表,从哪个数据库的哪张表抽取数据,可写 SQL 语句;4.1.3 及之后版本,支持返回存储过程结果集作为表输入。 |
数据去向与映射 | 设置目标表,抽取的数据保存到哪个数据库的哪张表下,可存放到已有的表,也支持自动新建一个表;设置源表跟目标表之间的字段映射关系,支持手动调整映射关系。 |
写入方式 | 有三种写入方式:追加写入数据、清空目标表,再写入数据、基于标识字段,追加/更新/删除数据 |
注1:数据同步后的定时更新可以参考:数据更新专题
注2:4.0.18 版本移除了「比对字段」和「更新策略」,通过「数据比对」+「DB表输出」的组合方式,可完成增量插入、删除、更新的操作。4.0.18 之前版本用户请查看 历史版本
2. 前提条件
拥有能够进行数据开发的 FineDataLink 系统用户:用户管理
对用户进行了数据开发权限分配:数据平台使用权限、定时任务管理权限
配置了需要接入 FineDataLink 作为数据来源的数据连接,详情参见:[通用]配置数据连接
3. 使用限制
4. 功能概述
支持数据库、API、文件等多种数据源,从数据库取数时,可写 SQL 、选表或者存储过程实现数据处理。
数据同步的支持情况如下图所示:
功能 | 描述 |
---|---|
异构数据源之间的数据同步 | 目前支持关系型数据、非关系型数据、接口数据、文件数据等 30多种数据源之间的数据同步,通过定义「数据来源」和「数据去向」实现任意结构化、半结构化数据之间的数据传输。 支持的数据源详情参见:数据开发支持的数据源 |
数据同步的场景 | 数据同步支持单表同步至目标端单表同步场景。同时,结合 FineDataLink 调度参数,实现增量数据和全量数据周期性写入到目标表功能。 数据同步任务使用参数,可实现批量将历史数据同步至目标数据库或表指定分区。 数据同步方式有「增量同步」、「全量同步」、「比对同步」,详情参见:数据同步方案概述 调度任务配置和通知提醒详情参见:定时任务调度配置 |
数据同步任务配置 | 可通过以下方式配置是数据同步任务: |
任务运维 | 任务运维支持「运行记录」、「任务管理」和「资源控制」
详情参见:定时任务运维概述 |
4.0.28 及之后版本,若用户为以下场景时(来源表和目标表都不是简道云数据):
没有标识字段,希望将筛选出的数据,做追加或者更新或者删除操作(无标识字段时仅允许选择一种操作类型)。
数据已经有了标识字段和标识值,需要对数据进行追加/更新/删除操作。
可通过「数据同步」节点实现,详情请参见:数据同步-基于标识字段,追加/更新/删除数据
5. 操作流程
6. 示例
简介 | 文档 |
---|---|
A 数据库中的表数据同步到 B 数据库表中 | 数据同步-数据库表 |
API 接口中的数据同步到数据库表中 | 数据同步-API |
服务器数据集中的数据(例如 Excel、CSV 数据),同步到数据库表中 | 数据同步-Excel |
数据库中的数据同步到 FineBI 中 | 数据同步至FineBI |
简道云中的数据同步到数据库表中 | 数据同步-简道云数据 |
使用数据同步节点实现数据的增删改 | 数据同步-基于标识字段,追加/更新/删除数据 |