反馈已提交

网络繁忙

数据同步概述

  • 文档创建者:Wendy123456
  • 历史版本:74
  • 最近更新:Roxy 于 2024-02-28
  • 1. 概述

    1.1 版本说明

    FineDataLink 版本功能变动
    1.6
    • 新增「自动建表」功能

    • 下拉框支持模糊搜索

    • 字段映射界面增加刷新按钮

    4.1.3

    1)数据来源Tab下,「数据源」中选择DB表输入类型时,新增配置方式设置项,配置方式设置项中可选择SQL、选表(本版本新增功能)、存储过程(本版本新增功能)

    • 选表:支持直接选表同步数据;直接选表同步数据时,支持并发读取数据

    • 存储过程:数据源是 MySQL、Oracle、SQLServer 时,支持调用存储过程

    2)Doris、StarRocks 数据源作为写入端,支持自动建表,详情参见本文 4.1.2 节

    3)Hive、星环 TRANSWARP INCEPTOR数据库写入数据时,支持分区建表、分区写入

    4)可修改目标表的字段名

    5)通过「手动建表」功能,可自定义建表的SQL语句,例如修改字段名、字段类型、定义各种表的特性等。


    查看历史版本更新
    FineDataLink 版本功能变动
    1.7字段映射界面可编辑映射并删除字段映射关系
    1.9允许指定一个或多个字段作为比对字段,来更新目标表中的数据
    2.1字段映射时支持模糊匹配,可选择映射方式
    2.2数据来源支持服务器数据集,支持从 CSV、Excel 文件中读取数据
    3.0原「离线同步」节点更名为「数据同步」
    3.7「数据去向」中若选择「自动建表」,「字段映射」Tab下可删除表字段、修改表字段展示顺序、修改表字段长度、修改字段类型
    4.0.1「数据去向」中若选择「自动建表」,「字段映射」Tab下修改表字段展示顺序的方式,从点击调整字段顺序调整为拖拽调整字段顺序
    4.0.13
    • 「数据来源」支持 MongoDB 和简道云

    • 支持自动将数据同步内容生成「数据转换」节点

    4.0.14
    • 「数据来源」支持「FTP/SFTP」数据源

    • 「数据来源」支持「服务器本地目录」数据源

    4.0.18

    1)移除了「比对字段」和「更新策略」

    2)写入方式「直接将数据写入目标表」,更新为「追加写入数据」

    3)「数据去向」中写入方式分为四类:

    • 目标表无主键写入

    • 目标表有主键写入,包含 3 种冲突策略

    • 清空目标表再写入数据

    • 插入/更新/删除数据(灰化,仅支持在数据转换中使用)

    4.0.20「数据去向」的数据源类型中,新增「简道云」类型
    4.0.21
    • 「数据去向」Tab 中支持选择模式,详情参见 DB表输出 文档的 2.1 节内容

    • 数据去向 Tab 中若选择「自动建表」,字段映射 Tab 中可设置物理主键。

    4.0.28
    • 调整「写入方式」和「字段映射」的顺序

    • 写入方式优化,分为三种:直接将数据写入目标表清空目标表,再写入数据基于标识字段,追加/更新/删除数据

    4.0.29
    • 主键冲突策略中主键相同,停止写入并报错修改为主键相同,记录为脏数

    • 写入方式为「清空目标表,再写入数据」时逻辑优化,见本文 5.2 节

    4.0.30字段映射中可支持搜索字段

    1.2 应用场景

    FineDataLink 数据同步功能,方便用户通过定义来源与去向数据源,并结合调度任务和参数使用,将源端数据库中全量或增量数据的同步至目标数据库中。

    注:若用户想要同步的数据需要进行一些复杂数据清洗处理,建议使用数据转换

    1.3 功能简介

    通过「设置需要抽取的数据」>「设置数据去向及字段映射」>「设置数据写入方式」将来源端数据直接抽取并写入目标数据库中。

    功能
    描述
    数据来源设置源表,从哪个数据库的哪张表抽取数据,可写 SQL 语句;4.1.3 及之后版本,支持返回存储过程结果集作为表输入。
    数据去向与映射设置目标表,抽取的数据保存到哪个数据库的哪张表下,可存放到已有的表,也支持自动新建一个表;设置源表跟目标表之间的字段映射关系,支持手动调整映射关系。
    写入方式有三种写入方式:追加写入数据清空目标表,再写入数据基于标识字段,追加/更新/删除数据

    1702348893592874.png

    注1:数据同步后的定时更新可以参考:数据更新专题

    注2:4.0.18 版本移除了「比对字段」和「更新策略」,通过「数据比对」+「DB表输出」的组合方式,可完成增量插入、删除、更新的操作。4.0.18 之前版本用户请查看 历史版本

    2. 前提条件

    拥有能够进行数据开发的 FineDataLink 系统用户:用户管理

    对用户进行了数据开发权限分配:数据平台使用权限定时任务管理权限

    配置了需要接入 FineDataLink 作为数据来源的数据连接,详情参见:[通用]配置数据连接

    3. 使用限制

    • 支持且仅支持结构化、半结构化、无结构化(OSS、TXT等,要求具体同步数据必须抽象为结构化数据)的数据的同步。即仅支持传输能够抽象为逻辑二维表的数据同步,不支持同步OSS中存放完全非结构化的数据(例如一段MP3)。

    • 「数据同步」节点实现的是数据的定时同步,若需要数据的实时同步,详情参见:数据管道

    • 数据同步不能保证数据不重复,但可以设置写入方式,依赖主键+更新策略来保证,详情可参见:数据同步方案概述

    4. 功能概述

    「数据同步」节点通过定义数据来源和数据去向,可快速完成数据的同步;

    支持数据库、API、文件等多种数据源,从数据库取数时,可写 SQL 、选表或者存储过程实现数据处理。

    数据同步的支持情况如下图所示:

    功能
    描述
    异构数据源之间的数据同步

    目前支持关系型数据、非关系型数据、接口数据、文件数据等 30多种数据源之间的数据同步,通过定义「数据来源」和「数据去向」实现任意结构化、半结构化数据之间的数据传输。

    支持的数据源详情参见:数据开发支持的数据源

    数据同步的场景

    数据同步支持单表同步至目标端单表同步场景。同时,结合 FineDataLink 调度参数,实现增量数据和全量数据周期性写入到目标表功能

    数据同步任务使用参数,可实现批量将历史数据同步至目标数据库或表指定分区。

    数据同步方式有「增量同步」、「全量同步」、「比对同步」,详情参见:数据同步方案概述

    调度任务配置和通知提醒详情参见:定时任务调度配置

    数据同步任务配置

    可通过以下方式配置是数据同步任务

    数据同步-数据来源

    数据同步-数据去向与映射

    数据同步-写入方式

      任务运维

      任务运维支持「运行记录」、「任务管理」和「资源控制」

      • 运行记录:可以通过筛选和搜索的方式查看任务运行状态、运行耗时以及任务运行的历史日志

      • 调度计划:管理任务调度配置

      • 任务管理:查看定时任务数量和任务调度状态以及调度执行情况

      详情参见:定时任务运维概述

      4.0.28 及之后版本,若用户为以下场景时(来源表和目标表都不是简道云数据):

      • 没有标识字段,希望将筛选出的数据,做追加或者更新或者删除操作(无标识字段时仅允许选择一种操作类型)。

      • 数据已经有了标识字段和标识值,需要对数据进行追加/更新/删除操作。

      可通过「数据同步」节点实现,详情请参见:数据同步-基于标识字段,追加/更新/删除数据

      5. 操作流程

      1)设置数据来源,详情参见:设置数据来源

      2)数据去向与映射,详情参见:设置数据去向与映射

      3)设置写入方式,详情参见:设置写入方式

      6. 示例

      简介
      文档
      A 数据库中的表数据同步到 B 数据库表中数据同步-数据库表
      API 接口中的数据同步到数据库表中
      数据同步-API
      服务器数据集中的数据(例如 Excel、CSV 数据),同步到数据库表中
      数据同步-Excel
      数据库中的数据同步到 FineBI 中
      数据同步至FineBI
      简道云中的数据同步到数据库表中
      数据同步-简道云数据
      使用数据同步节点实现数据的增删改
      数据同步-基于标识字段,追加/更新/删除数据



      附件列表


      主题: 数据开发
      • 有帮助
      • 没帮助
      • 只是浏览
      • 评价文档,奖励 1 ~ 100 随机 F 豆!

      鼠标选中内容,快速反馈问题

      鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

      不再提示

      10s后关闭

      联系我们
      在线支持
      获取专业技术支持,快速帮助您解决问题
      工作日9:00-12:00,13:30-17:30在线
      页面反馈
      针对当前网页的建议、问题反馈
      售前咨询
      采购需求/获取报价/预约演示
      或拨打: 400-811-8890 转1
      qr
      热线电话
      咨询/故障救援热线:400-811-8890转2
      总裁办24H投诉:17312781526
      提交页面反馈
      仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持