1. 概述编辑
1.1 版本说明
FineDataLink 版本 | 功能变动 |
---|---|
1.6 |
|
4.1.3 | 1)数据来源Tab下,「数据源」中选择DB表输入类型时,新增「配置方式」设置项,「配置方式」设置项中可选择SQL、选表(本版本新增功能)、存储过程(本版本新增功能)
2)Doris、StarRocks 数据源作为写入端,支持自动建表,详情参见本文 4.1.2 节 3)Hive、星环 TRANSWARP INCEPTOR数据库写入数据时,支持分区建表、分区写入 4)可修改目标表的字段名 5)通过「手动建表」功能,可自定义建表的SQL语句,例如修改字段名、字段类型、定义各种表的特性等。 |
查看历史版本更新 | ||||||||||||||||||||||||||||||||
|
1.2 应用场景
用户希望将大量的数据直接抽取同步写入数据库中,且想要同步的数据不需要非常复杂的处理步骤,就可以使用「数据同步」节点。
1.3 功能简介
通过「设置需要抽取的数据」>「设置数据去向及字段映射」>「设置数据写入方式」将数据直接抽取并写入数据库中。
数据来源:设置源表,从哪个数据库的哪张表抽取数据,可写 SQL 语句;4.1.3 及之后版本,支持返回存储过程结果集作为表输入。
数据去向与映射:设置目标表,抽取的数据保存到哪个数据库的哪张表下,可存放到已有的表,也支持自动新建一个表;设置源表跟目标表之间的字段映射关系,支持手动调整映射关系。
写入方式:有三种写入方式:直接将数据写入目标表、清空目标表,再写入数据、基于标识字段,追加/更新/删除数据
注1:数据同步后的定时更新可以参考:数据更新专题
注2:4.0.18 版本移除了「比对字段」和「更新策略」,通过「数据比对」+「DB表输出」的组合方式,可完成增量插入、删除、更新的操作。4.0.18 之前版本用户请查看 历史版本
1.4 前提条件
拥有能够进行数据开发的 FineDataLink 系统用户:用户管理
对用户进行了数据开发权限分配:数据平台使用权限、定时任务管理权限
配置了需要接入 FineDataLink 作为数据来源的数据连接,详情参见:[通用]配置数据连接
2. 使用须知编辑
1)数据存在新增/修改/删除时,根据用户的数据结构和更新需求,我们推荐不同的方案。详情请参见:数据更新专题概述
2)「数据同步」节点与「参数赋值」节点组合使用,可实现数据的增量更新。详情请参见:数据增量更新
3)4.0.28 及之后版本,若用户为以下场景时(来源表和目标表都不是简道云数据):
没有标识字段,希望将筛选出的数据,做追加或者更新或者删除操作(无标识字段时仅允许选择一种操作类型)。
数据已经有了标识字段和标识值,需要对数据进行追加/更新/删除操作。
可通过「数据同步」节点实现,详情请参见:数据同步-基于标识字段,追加/更新/删除数据
3. 数据来源编辑
详情参见:设置数据来源
4. 数据去向与映射编辑
详情参见:设置数据去向与映射
5. 写入方式编辑
详情参见:设置写入方式
6. 示例编辑
简介 | 文档 |
---|---|
A 数据库中的表数据同步到 B 数据库表中 | 数据同步-数据库表 |
API 接口中的数据同步到数据库表中 | 数据同步-API |
服务器数据集中的数据(例如 Excel、CSV 数据),同步到数据库表中 | 数据同步-Excel |
数据库中的数据同步到 FineBI 中 | 数据同步至FineBI |
简道云中的数据同步到数据库表中 | 数据同步-简道云数据 |
使用数据同步节点实现数据的增删改 | 数据同步-基于标识字段,追加/更新/删除数据 |