反馈已提交

网络繁忙

数据同步方案概述

  • 文档创建者:Roxy
  • 历史版本:28
  • 最近更新:Wendy123456 于 2024-08-26
  • 1. 概述

    数据同步包括定时同步、实时同步两个功能模块。选择使用哪个功能模块,需考虑要进行的数据同步是定时还是实时、增量还是全量等,不同模块的支持情况不同,此外还需要重点关注:数据的来源与去向、待同步的表或库的数量等。

    本文为您概要介绍数据同步的支持情况。

    2. 数据同步能力

    维度
    数据开发数据管道
    增量/全量全量
    增量
    表与库的数量单表同步
    整库同步×
    支持的来源与去向数据源数据开发支持的数据源
    实时同步支持的数据源
    功能介绍文档数据同步数据管道

    3. 数据同步方案

    更新方式
    场景方案功能组合示例
    定时增量更新来源表数据仅存在新增来源表有时间戳若来源表有时间戳,可以使用「参数赋值」节点获取目标表时间戳最大值,再使用「数据同步」节点获取增量数据做增量更新参数赋值+数据同步数据增量更新
    来源表无时间戳,但是有唯一标识用使用参数赋值」节点获取目标表内唯一标识,再获取来源表中存在但是目标表中没有的标识对应数据(也就是需要同步至目标表的新增数据),将这部分数据使用数据同步」节点,完成增量更新
    定时全量更新将目标表数据全部替换为来源表数据
    写入方式选择清空目标表,再写入数据即可数据同步数据同步
    定时比对更新来源表数据存在删除或者修改来源表数据变化,存在删除操作通过「数据比对」+「DB表输出」的组合方式,可完成插入数据、删除数据、更新数据的操作。数据来源表+数据目标表+数据比对+DB表输出数据比对

    高效率

    结合时间戳、业务时间等进行增量同步

    参数赋值、数据比对、SQL脚本

    增删改数据同步(高效率)
    来源端存在新增、修改的数据

    目标端有主键时可设置数据同步-写入方式主键比对策略

    数据同步数据同步
    目标端无主键,则通过「数据比对」+「DB表输出」的组合方式,获取新增、修改数据,并可完成同步新增、修改数据的操作。数据来源表+数据目标表+数据比对+DB表输出数据比对
    来源端仅存在修改的数据目标端有主键时可设置数据同步-写入方式主键比对策略数据同步数据同步
    目标端无主键,通过「数据比对」+「DB表输出」的组合方式,获取修改数据,并可完成同步修改数据的操作。数据来源表+数据目标表+数据比对+DB表输出

    数据比对


    数据增删改变化实时同步到目标表中使用数据管道功能
    数据管道概述

    内容扩展:

    4.0.28 及之后版本,若用户为以下场景时(来源表和目标表都不是简道云数据):

    • 没有标识字段,希望将筛选出的数据,做追加或者更新或者删除操作(无标识字段时仅允许选择一种操作类型)。

    • 数据已经有了标识字段和标识值,需要对数据进行追加/更新/删除操作。

    可通过「数据同步」节点实现,详情请参见:数据同步-基于标识字段,追加/更新/删除数据



    附件列表


    主题: 最佳实践
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持