历史版本71 :数据同步概述 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

[helpvideo]3255[/helpvideo]

1.1 版本说明

FineDataLink 版本功能变动
1.6
  • 新增「自动建表」功能

  • 下拉框支持模糊搜索

  • 字段映射界面增加刷新按钮

4.0.26数据去向 Tab 中可选择 FTP/SFTP 和服务器本地目录,可将数据输出为文件形式


查看历史版本更新
FineDataLink 版本功能变动
1.7字段映射界面可编辑映射并删除字段映射关系
1.9允许指定一个或多个字段作为比对字段,来更新目标表中的数据
2.1字段映射时支持模糊匹配,可选择映射方式
2.2数据来源支持服务器数据集,支持从 CSV、Excel 文件中读取数据
3.0原「离线同步」节点更名为「数据同步」
3.7「数据去向」中若选择「自动建表」,「字段映射」Tab下可删除表字段、修改表字段展示顺序、修改表字段长度、修改字段类型
4.0.1「数据去向」中若选择「自动建表」,「字段映射」Tab下修改表字段展示顺序的方式,从点击调整字段顺序调整为拖拽调整字段顺序
4.0.13
  • 「数据来源」支持 MongoDB 和简道云

  • 支持自动将数据同步内容生成「数据转换」节点

4.0.14
  • 「数据来源」支持「FTP/SFTP」数据源

  • 「数据来源」支持「服务器本地目录」数据源

4.0.18

1)移除了「比对字段」和「更新策略」

2)写入方式「直接将数据写入目标表」,更新为「追加写入数据」

3)「数据去向」中写入方式分为四类:

  • 目标表无主键写入

  • 目标表有主键写入,包含 3 种冲突策略

  • 清空目标表再写入数据

  • 插入/更新/删除数据(灰化,仅支持在数据转换中使用)

4.0.20「数据去向」的数据源类型中,新增「简道云」类型
4.0.21
  • 「数据去向」Tab 中支持选择模式,详情参见 DB表输出 文档的 2.1 节内容

  • 数据去向 Tab 中若选择「自动建表」,字段映射 Tab 中可设置物理主键。详情参见 DB表输出 文档的 2.2 节内容

1.2 应用场景

用户希望将大量的数据直接抽取同步写入数据库中,且想要同步的数据不需要非常复杂的处理步骤,就可以使用「数据同步」节点。

1.3 功能简介

通过「设置需要抽取的数据」>「设置需要写入的数据表」>「调整数据表字段」将数据直接抽取并写入数据库中。

  • 数据来源:设置源表,从哪个数据库的哪张表抽取数据,可写 SQL 语句

  • 数据去向:设置目标表,抽取的数据保存到哪个数据库的哪张表下,可存放到已有的表,也支持自动新建一个表

  • 字段映射:设置源表跟目标表之间的字段映射关系,支持手动调整映射关系

9.png

注:数据同步后的定时更新可以参考:数据更新专题

1.4 前提条件

拥有能够进行数据开发的 FineDataLink 系统用户:用户管理

对用户进行了数据开发权限分配:数据平台使用权限定时任务管理权限

配置了需要接入 FineDataLink 作为数据来源的数据连接,详情参见:[通用]配置数据连接

2. 功能说明编辑

注:4.0.18 版本移除了「比对字段」和「更新策略」,通过「数据比对」+「DB表输出」的组合方式,可完成增量插入、删除、更新的操作。4.0.18 之前版本用户请查看 历史版本

2.1 数据来源

10.png

设置项介绍如下表所示:

设置项
说明
数据源

FineDataLink支持的数据源 文档的第三章内容(支持数据读取的数据库)

只展示已配置过数据连接且当前用户有数据连接使用权限的选项

SQL 语句通过 SQL 从源数据库的表中查询取数,且支持引用定时任务中的参数,参数的定义和使用方式可参见文档 自定义参数
数据预览可查看当前语句对应的数据,一般用来检查语句写得对不对,预览时最多只显示 20 行且与实际数据可能存在差异

此时若发现取出的数据需要进行一些复杂的操作,例如行列转换数据关联JSON解析等数据处理和转换,则可以使用「生成数据转换」功能,将根据数据同步节点的数据来源和去向设置,新增一个「数据转换」节点,你可以使用数据转换替代数据同步进行复杂的数据处理工作。

注:详情请参见:生成数据转换

8.gif

2.2 数据去向

11.png

2.2.1 数据源/库

选择数据需要写入的数据库。支持的数据库请参见:FineDataLink支持的数据源 文档的第三章内容(支持数据写入的数据库)。

数据源处只展示已配置过数据连接且当前用户有数据连接使用权限的选项。

若数据库有模式,支持选择模式。详情参见 DB表输出 文档的 4.1 节内容。如下图所示:

1686638785401116.png

2.2.2 目标表

已存在表:是选择目标数据库中已有的表来存放数据。

自动建表:是直接在目标数据库中新建一张表来存放。

注:若选择「自动建表」,未指定模式时,会使用数据库默认模式,而不是数据连接中的模式。

2.2.3 写入方式

1686639104714462.png

1)数据源类型选择「简道云」时,写入方式只能选择「追加写入数据」。

2)数据源类型选择除「简道云」之外的数据源类型时,可以选择「追加写入数据」/「清空目标表再写入数据」。

写入方式详细介绍如下表所示:

写入方式说明
追加写入数据1)若没有主键,直接将数据写入到目标表中

2)若存在主键,主键冲突策略为:

  • 主键冲突,覆盖目标表的数据

  • 主键冲突,忽略输入源的数据

  • 主键冲突,停止写入并报错

12.png

清空目标表再写入数据

直接先把目标表清空掉,然后再写入数据

有无主键均可以选择

插入/更新/删除数据灰化显示,不可选择,仅支持在数据转换中使用「插入/更新/删除数据」方式

2.3 字段映射

2.3.1 功能说明

1686639619705557.png

数据映射一些设置的介绍和注意事项如下:

配置项
说明
映射方式选择源表字段跟目标表字段的映射方式,有两种分别是「同名映射」和「同行映射」
建表语句如果设置「数据去向」时是「自动建表」的,那么就会有这个入口,点开后可查看和复制建表语句,如果自动建表不满足要求,可粘贴到 SQL脚本 修改并建表
编辑映射用户能够选择性地使用获取到的来源字段,不想写入的字段删除映射字段即可
重新获取源表的字段、字段类型发生改变时,点击该按钮可重新获取,并初始化字段映射界面
主键数据去向 Tab 中若选择「自动建表」,字段映射 Tab 中可设置物理主键,详情参见 DB表输出 文档的 4.2 节内容

两种映射方式的匹配逻辑如下:

映射方式
匹配逻辑
同名映射按照目标表字段与来源表字段字符重合的情况匹配,整体逻辑为:

1)根据来源字段,在目标表中寻找同名(字符完全相同)字段对其进行匹配

2)没有同名字段时:

  • 寻找目标表中包含来源表字段字符的字段,或者来源表中包含目标表字段字符的字段,对其进行匹配

  • 如果存在多个字符符合上述条件,则按照字段在目标表中出现的顺序进行优先级区分,出现顺序靠前的优先级高,匹配时优先展示

  • 已被匹配的字段不再被匹配,即不存在多个源头字段对应同一个目标表字段的情况

3)如果在目标表中找不到同名或者包含目标表字段字符的字段,则右侧映射字段显示为空

同行映射源头字段和目标表字段按顺序匹配:同行则建立映射关系

使用时一些需要注意的点:

1)映射时删除了一些来源表字段,那么切换映射方式后,还是会根据剩下来的这些字段进行调整

2)手动将映射方式从默认项「同名映射」切换到「同行映射」,点击「重新获取」字段,获取的字段将按照「同行映射」的方式自动匹配

3)以下两种场景会出现目标表无字段可匹配源头表的情况,在这两种情况下,右侧目标表字段可展示为空:

  • 同名映射:目标表不存在包含源头表字段的字段

  • 同行映射:源头表字段数量大于目标表字段数量

4)映射时,如果右侧目标表有空字段,会出现提示图标,悬浮在其上方提示:目标表字段存在空值

5)定时任务运行后,字段映射处不支持修改目标表字段类型。

2.3.2 功能变动

1)4.0.21 及之后版本,数据去向 Tab 中若选择「自动建表」,字段映射 Tab 中可设置物理主键。如下图所示:

1687261308787559.gif

注:若数据去向 Tab 中若选择「自动建表」,字段映射 Tab 中未设置主键,运行任务建表成功后,再次编辑任务,不支持修改主键。

2)数据去向 Tab 中写入方式选择「追加写入数据」,目标表选择「自动建表」,用户首次设置主键时,弹窗提示:当前主键冲突策略为覆盖目标表数据,支持在数据去向修改,同时数据去向 Tab 中出现「主键冲突策略」框,默认选项:主键冲突,覆盖目标表的数据

历史版本功能说明

1)3.7 版本,「DB表输出」算子的数据去向」Tab中若选择自动建表」,字段映射Tab下可删除表字段、修改表字段展示顺序、修改表字段长度、修改字段类型。如下图所示:

34.png

2)4.0.1 及之后版本,修改表字段展示顺序的方式,从点击调整字段顺序调整为拖拽调整字段顺序。如下图所示:

23.gif


3)目标表中哪个字段作为标识字段,用户可自定义设置。如下图所示:

35.png

3. 示例编辑

简介
文档
A 数据库中的表数据同步到 B 数据库表中数据同步-数据库表
API 接口中的数据同步到数据库表中
数据同步-API
服务器数据集中的数据(例如 Excel、CSV 数据),同步到数据库表中
数据同步-Excel
数据库中的数据同步到 FineBI 中
数据同步至FineBI
简道云中的数据同步到数据库表中
数据同步-简道云数据