历史版本68 :数据同步概述 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

[helpvideo]3255[/helpvideo]

1.1 版本说明

FineDataLink 版本功能变动
1.6

  • 新增「自动建表」功能

  • 下拉框支持模糊搜索

  • 字段映射界面增加刷新按钮

4.1.3

1）数据来源Tab下，「数据源」中选择DB表输入类型时，新增「配置方式」设置项，「配置方式」设置项中可选择SQL、选表（本版本新增功能）、存储过程（本版本新增功能）

  • 选表：支持直接选表同步数据；直接选表同步数据时，支持并发读取数据

  • 存储过程：数据源是 MySQL、Oracle、SQLServer 时，支持调用存储过程

2）Doris、StarRocks 数据源作为写入端，支持自动建表，详情参见本文 4.1.2 节

3）Hive、星环 TRANSWARP INCEPTOR数据库写入数据时，支持分区建表、分区写入

4）可修改目标表的字段名

5）通过「手动建表」功能，可自定义建表的SQL语句，例如修改字段名、字段类型、定义各种表的特性等。


查看历史版本更新
FineDataLink 版本功能变动
1.7字段映射界面可编辑映射并删除字段映射关系
1.9允许指定一个或多个字段作为比对字段，来更新目标表中的数据
2.1字段映射时支持模糊匹配，可选择映射方式
2.2数据来源支持服务器数据集，支持从 CSV、Excel 文件中读取数据
3.0原「离线同步」节点更名为「数据同步」
3.7「数据去向」中若选择「自动建表」，「字段映射」Tab下可删除表字段、修改表字段展示顺序、修改表字段长度、修改字段类型
4.0.1「数据去向」中若选择「自动建表」，「字段映射」Tab下修改表字段展示顺序的方式，从点击调整字段顺序调整为拖拽调整字段顺序
4.0.13

  • 「数据来源」支持 MongoDB 和简道云

  • 支持自动将数据同步内容生成「数据转换」节点

4.0.14

  • 「数据来源」支持「FTP/SFTP」数据源

  • 「数据来源」支持「服务器本地目录」数据源

4.0.18

1）移除了「比对字段」和「更新策略」

2）写入方式「直接将数据写入目标表」，更新为「追加写入数据」

3）「数据去向」中写入方式分为四类：

  • 目标表无主键写入

  • 目标表有主键写入，包含 3 种冲突策略

  • 清空目标表再写入数据

  • 插入/更新/删除数据（灰化，仅支持在数据转换中使用）

4.0.20「数据去向」的数据源类型中，新增「简道云」类型
4.0.21

  • 「数据去向」Tab 中支持选择模式，详情参见 DB表输出 文档的 2.1 节内容

  • 数据去向 Tab 中若选择「自动建表」，字段映射 Tab 中可设置物理主键。

4.0.28

  • 调整「写入方式」和「字段映射」的顺序

  • 写入方式优化，分为三种：直接将数据写入目标表、清空目标表，再写入数据、基于标识字段，追加/更新/删除数据

4.0.29

  • 主键冲突策略中主键相同，停止写入并报错修改为主键相同，记录为脏数据

  • 写入方式为「清空目标表，再写入数据」时逻辑优化，见本文 5.2 节

4.0.30字段映射中可支持搜索字段

1.2 应用场景

用户希望将大量的数据直接抽取同步写入数据库中，且想要同步的数据不需要非常复杂的处理步骤，就可以使用「数据同步」节点。

1.3 功能简介

通过「设置需要抽取的数据」>「设置数据去向及字段映射」>「设置数据写入方式」将数据直接抽取并写入数据库中。

  • 数据来源：设置源表，从哪个数据库的哪张表抽取数据，可写 SQL 语句；4.1.3 及之后版本，支持返回存储过程结果集作为表输入。

  • 数据去向与映射：设置目标表，抽取的数据保存到哪个数据库的哪张表下，可存放到已有的表，也支持自动新建一个表；设置源表跟目标表之间的字段映射关系，支持手动调整映射关系。

  • 写入方式：有三种写入方式：直接将数据写入目标表、清空目标表，再写入数据、基于标识字段，追加/更新/删除数据

1702348893592874.png

注1：数据同步后的定时更新可以参考：数据更新专题

注2：4.0.18 版本移除了「比对字段」和「更新策略」，通过「数据比对」+「DB表输出」的组合方式，可完成增量插入、删除、更新的操作。4.0.18 之前版本用户请查看 历史版本

1.4 前提条件

拥有能够进行数据开发的 FineDataLink 系统用户：用户管理

对用户进行了数据开发权限分配：数据平台使用权限、定时任务管理权限

配置了需要接入 FineDataLink 作为数据来源的数据连接，详情参见：[通用]配置数据连接

2. 功能概述编辑

「数据同步」节点通过定义数据来源和数据去向，可快速完成数据的同步；支持数据库、API、文件等多种数据源，从数据库取数时，可写 SQL 实现数据处理。

「数据同步」节点实现的是数据的定时同步，若需要数据的实时同步，详情参见：数据管道

数据同步的支持情况如下图所示：

功能
说明
异构数据源之间的数据同步

目前支持关系型数据、非关系型数据库、接口数据、文件数据等 20 多种数据源之间的数据同步，通过定义「数据来源」和「数据去向」进行数据同步

支持的数据源请参见：FineDataLink支持的数据源

数据同步场景

定时同步为了保证数据的时效性，因此会需要使用调度任务或者参数的形式，配置任务进行周期性的数据同步

任务运维

任务运维支持「运行记录」、「任务管理」和「资源控制」

  • 运行记录：可以通过筛选和搜索的方式查看任务运行状态、运行耗时以及任务运行的历史日志

  • 任务管理：查看任务调度配置情况

  • 资源控制：限制「数据平台」占用的内存和带宽，减弱在集成部署下对 FineReport 或 FineBI 服务的影响。同时在独立部署时，可控制数据开发所占用的内存资源

详情参见：定时任务运维

4.0.28 及之后版本，若用户为以下场景时（来源表和目标表都不是简道云数据）：

  • 没有标识字段，希望将筛选出的数据，做追加或者更新或者删除操作（无标识字段时仅允许选择一种操作类型）。

  • 数据已经有了标识字段和标识值，需要对数据进行追加/更新/删除操作。

可通过「数据同步」节点实现，详情请参见：数据同步-基于标识字段，追加/更新/删除数据

3. 操作流程编辑

1）设置数据来源，详情参见：设置数据来源

2）数据去向与映射，详情参见：设置数据去向与映射

3）设置写入方式，详情参见：设置写入方式

4. 示例编辑

简介
文档
A 数据库中的表数据同步到 B 数据库表中数据同步-数据库表
API 接口中的数据同步到数据库表中
数据同步-API
服务器数据集中的数据（例如 Excel、CSV 数据），同步到数据库表中
数据同步-Excel
数据库中的数据同步到 FineBI 中
数据同步至FineBI
简道云中的数据同步到数据库表中
数据同步-简道云数据
使用数据同步节点实现数据的增删改
数据同步-基于标识字段，追加/更新/删除数据