Overview of Data Synchronization Schemes

  • Last update: August 15, 2023
  • 1. 概述

    为了确保数据的时效性,数据更新变得非常重要。只有数据保持更新,才能持续地应用于业务中。

    本文根据用户的数据结构和更新需求,整理了不同场景下 FineDataLink 推荐的更新方案,方便用户更好地进行数据处理和维护。

    2. 方案推荐

    2.1 来源端存在删除数据

    最优方案:「两个表输入+数据比对+表输出」。

    详情可参见:数据比对

    2.2 来源端不存在删除数据

    2.2.1 来源表有时间戳或有唯一标识

    场景
    推荐方案方案示例
    来源表有时间戳若来源表有时间戳,可以使用「参数赋值」获取目标表时间戳最大值,再使用「数据同步」获取增量数据做增量更新参数赋值+数据同步数据增量更新
    来源表无时间戳,但是有唯一标识来源表有主键或逻辑主键,但是不能通过时间戳进行增量更新

    2.2.2 来源表无时间戳和唯一标识

    场景
    4.0.18-4.0.28方案4.0.28 及之后方案
    来源端存在新增、修改的数据目标端有主键数据同步
    目标端无主键

    两个表输入+数据比对+表输出

    不追求性能:数据同步

    追求性能:两个表输入+数据比对+表输出

    来源端仅存在新增的数据目标端有主键/目标端无主键

    数据同步

    来源端仅存在修改的数据目标端有主键数据同步
    目标端无主键

    两个表输入+数据比对+表输出

    不追求性能:数据同步

    追求性能:两个表输入+数据比对+表输出



    附件列表


    主题: 数据开发
    Previous
    Next
    • Helpful
    • Not helpful
    • Only read

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    Get
    Help
    Online Support
    Professional technical support is provided to quickly help you solve problems.
    Online support is available from 9:00-12:00 and 13:30-17:30 on weekdays.
    Page Feedback
    You can provide suggestions and feedback for the current web page.
    Pre-Sales Consultation
    Business Consultation
    Business: international@fanruan.com
    Support: support@fanruan.com
    Page Feedback
    *Problem Type
    Cannot be empty
    Problem Description
    0/1000
    Cannot be empty

    Submitted successfully

    Network busy