反馈已提交

网络繁忙

数据同步概述

  • 文档创建者:Wendy123456
  • 历史版本:81
  • 最近更新:Wendy123456 于 2024-11-14
  • 1. 概述

    1.1 应用场景

    用户同步数据时,在以下场景中,可使用「数据同步」节点实现:

    • 数据无需进行复杂的数据处理,希望快速完成数据表的同步。

    • 目标库计算能力较强的场景/数据量非常大的场景中(单表数据量超过 1kw 时),将数据表从来源端同步到目标端。

    1.2 功能简介

    1)对接多种数据源

    可将数据从任意终端到任意终端。详情请参见:任意终端到任意终端

    例如:可将简道云数据同步到数据库中;数据库数据保存为文件数据等。

    2)快速实现数据表的同步

    通过「设置需要抽取的数据」>「设置数据去向及字段映射」>「设置数据写入方式」将来源端数据直接抽取并写入目标数据库中。

    功能
    描述
    数据来源设置源表,从哪个数据库的哪张表抽取数据,可写 SQL 语句;4.1.3 及之后版本,支持返回存储过程结果集作为表输入
    数据去向与映射设置目标表,抽取的数据保存到哪个数据库的哪张表下,可存放到已有的表,也支持自动新建一个表;设置源表跟目标表之间的字段映射关系,支持手动调整映射关系
    写入方式有三种写入方式:追加写入数据清空目标表,再写入数据基于标识字段,追加/更新/删除数据

    4.png

    2. 前提条件

    3. 使用限制

    • 支持结构化、半结构化、无结构化(OSS、TXT等,要求具体同步数据必须抽象为结构化数据)数据的同步。即仅支持传输能够抽象为逻辑二维表的数据同步,不支持同步OSS中存放完全非结构化的数据(例如一段MP3)。

    • 「数据同步」节点实现的是数据的定时同步,若需要数据的实时同步,详情请参见:数据管道

    • 支持通过设置写入方式+依赖主键+更新策略来保证同步后数据不重复。详情可参见:数据同步方案概述

    • 不同数据源对数据开发功能的支持不同,详情请参见:定时任务数据源功能限制说明

    4. 功能概述

    「数据同步」节点可以将数据从来源端抽取到目标端,且进行简单的数据处理。设置界面如下图所示:

    注:若用户想要同步的数据需要进行一些复杂数据清洗处理,建议使用 数据转换

    6.png

    步骤说明
    步骤一:设置数据来源(必做)

    1)目前支持关系型数据、非关系型数据、接口数据、文件数据等 30 多种数据源之间的数据同步,通过定义「数据来源」和「数据去向」实现任意结构化、半结构化数据之间的数据传

    支持的数据源详情请参见:数据开发支持的数据源

    2)数据来源Tab 页,各设置项说明请参见:数据同步-数据来源

    步骤二:设置数据去向与映射(必做)

    各设置项说明请参见:数据同步-数据去向与映

    注意点:

    4.0.18 版本移除了「比对字段」和「更新策略」,通过「数据比对」+「DB表输出」的组合方式,可完成增量插入、删除、更新的操作。4.0.18 之前版本用户请查看 历史版本

    步骤三:设置写入方式(必做)各设置项说明请参见:数据同步-写入方式

    5. 不同场景中使用说明

    4.0.28 及之后版本,若用户为以下场景时(来源表和目标表都不是简道云数据):

    • 没有标识字段,希望将筛选出的数据,做追加或者更新或者删除操作(无标识字段时仅允许选择一种操作类型)。

    • 数据已经有了标识字段和标识值,需要对数据进行追加/更新/删除操作。

    可通过「数据同步」节点实现,详情请参见:数据同步-基于标识字段,追加/更新/删除数据

    应用场景
    具体介绍参考文档
    简单数据同步只使用数据同步节点,对接各种数据源,完成数据同步

    数据同步-数据库表

    数据同步-API

    数据同步-服务器数据集

    数据同步-简道云数据

    数据的增量同步与参数配合使用,实现数据的增量同步
    数据增量更新同步
    数据同步前/后进行判断

    不同条件,执行不同的数据同步节点;需要与参数赋值节点、条件分支节点配合使用

    使用条件分支获取优秀员工信息

    FR填报补录数据后,触发FDL任务更新

    可与 连线执行判断 功能配合使用,根据数据同步节点执行情况(失败、成功、无条件),判断执行哪个下游节点
    数据抽取失败后进行数据回滚
    数据输出至 FineBI将数据输出至 FineBI独立部署下定时任务结果输出至FineBI






    附件列表


    主题: 数据开发-定时任务
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持