1. 概述编辑
1.1 版本说明
FineDataLink 版本 | 功能变动 |
---|---|
1.6 |
|
4.0.21 |
查看历史版本更新 | ||||||||||||||||||||||||
|
1.2 应用场景
用户希望将大量的数据直接抽取同步写入数据库中,且想要同步的数据不需要非常复杂的处理步骤,就可以使用「数据同步」节点。
1.3 功能简介
通过「设置需要抽取的数据」>「设置需要写入的数据表」>「调整数据表字段」将数据直接抽取并写入数据库中。
数据来源:设置源表,从哪个数据库的哪张表抽取数据,可写 SQL 语句
数据去向:设置目标表,抽取的数据保存到哪个数据库的哪张表下,可存放到已有的表,也支持自动新建一个表
字段映射:设置源表跟目标表之间的字段映射关系,支持手动调整映射关系
注:数据同步后的定时更新可以参考:数据更新专题
1.4 前提条件
拥有能够进行数据开发的 FineDataLink 系统用户:用户管理
对用户进行了数据开发权限分配:数据平台使用权限、定时任务管理权限
配置了需要接入 FineDataLink 作为数据来源的数据连接,详情参见:[通用]配置数据连接
2. 功能说明编辑
注:4.0.18 版本移除了「比对字段」和「更新策略」,通过「数据比对」+「DB表输出」的组合方式,可完成增量插入、删除、更新的操作。4.0.18 之前版本用户请查看 历史版本
2.1 数据来源
设置项介绍如下表所示:
设置项 | 说明 |
---|---|
数据源 | FineDataLink支持的数据源 文档的第三章内容(支持数据读取的数据库) 只展示已配置过数据连接且当前用户有数据连接使用权限的选项 |
SQL 语句 | 通过 SQL 从源数据库的表中查询取数,且支持引用定时任务中的参数,参数的定义和使用方式可参见文档 自定义参数 |
数据预览 | 可查看当前语句对应的数据,一般用来检查语句写得对不对,预览时最多只显示 20 行且与实际数据可能存在差异 |
此时若发现取出的数据需要进行一些复杂的操作,例如行列转换、数据关联、JSON解析等数据处理和转换,则可以使用「生成数据转换」功能,将根据数据同步节点的数据来源和去向设置,新增一个「数据转换」节点,你可以使用数据转换替代数据同步进行复杂的数据处理工作。
注:详情请参见:生成数据转换
2.2 数据去向
2.2.1 数据源/库
选择数据需要写入的数据库。支持的数据库请参见:FineDataLink支持的数据源 文档的第三章内容(支持数据写入的数据库)。
数据源处只展示已配置过数据连接且当前用户有数据连接使用权限的选项。
若数据库有模式,支持选择模式。详情参见 DB表输出 文档的 4.1 节内容。如下图所示:
2.2.2 目标表
已存在表:是选择目标数据库中已有的表来存放数据。
自动建表:是直接在目标数据库中新建一张表来存放。
注:若选择「自动建表」,未指定模式时,会使用数据库默认模式,而不是数据连接中的模式。
2.2.3 写入方式
1)数据源类型选择「简道云」时,写入方式只能选择「追加写入数据」。
2)数据源类型选择除「简道云」之外的数据源类型时,可以选择「追加写入数据」/「清空目标表再写入数据」。
写入方式详细介绍如下表所示:
写入方式 | 说明 |
---|---|
追加写入数据 | 1)若没有主键,直接将数据写入到目标表中 2)若存在主键,主键冲突策略为:
|
清空目标表再写入数据 | 直接先把目标表清空掉,然后再写入数据 有无主键均可以选择 |
插入/更新/删除数据 | 灰化显示,不可选择,仅支持在数据转换中使用「插入/更新/删除数据」方式 |
2.3 字段映射
数据映射一些设置的介绍和注意事项如下:
配置项 | 说明 |
---|---|
映射方式 | 选择源表字段跟目标表字段的映射方式,有两种分别是「同名映射」和「同行映射」 |
建表语句 | 如果设置「数据去向」时是「自动建表」的,那么就会有这个入口,点开后可查看和复制建表语句,如果自动建表不满足要求,可粘贴到 SQL脚本 修改并建表 |
编辑映射 | 用户能够选择性地使用获取到的来源字段,不想写入的字段删除映射字段即可 |
重新获取 | 源表的字段、字段类型发生改变时,点击该按钮可重新获取,并初始化字段映射界面 |
主键 | 数据去向 Tab 中若选择「自动建表」,字段映射 Tab 中可设置物理主键,详情参见 DB表输出 文档的 4.2 节内容 |
两种映射方式的匹配逻辑如下:
映射方式 | 匹配逻辑 |
---|---|
同名映射 | 按照目标表字段与来源表字段字符重合的情况匹配,整体逻辑为: 1)根据来源字段,在目标表中寻找同名(字符完全相同)字段对其进行匹配 2)没有同名字段时:
3)如果在目标表中找不到同名或者包含目标表字段字符的字段,则右侧映射字段显示为空 |
同行映射 | 源头字段和目标表字段按顺序匹配:同行则建立映射关系 |
使用时一些需要注意的点:
1)映射时删除了一些来源表字段,那么切换映射方式后,还是会根据剩下来的这些字段进行调整
2)手动将映射方式从默认项「同名映射」切换到「同行映射」,点击「重新获取」字段,获取的字段将按照「同行映射」的方式自动匹配
3)以下两种场景会出现目标表无字段可匹配源头表的情况,在这两种情况下,右侧目标表字段可展示为空:
同名映射:目标表不存在包含源头表字段的字段
同行映射:源头表字段数量大于目标表字段数量
4)映射时,如果右侧目标表有空字段,会出现提示图标,悬浮在其上方提示:目标表字段存在空值
5)定时任务运行后,字段映射处不支持修改目标表字段类型。
3. 示例编辑
简介 | 文档 |
---|---|
A 数据库中的表数据同步到 B 数据库表中 | 数据同步-数据库表 |
API 接口中的数据同步到数据库表中 | 数据同步-API |
服务器数据集中的数据(例如 Excel、CSV 数据),同步到数据库表中 | 数据同步-Excel |
数据库中的数据同步到 FineBI 中 | 数据同步至FineBI |
简道云中的数据同步到数据库表中 | 数据同步-简道云数据 |