反馈已提交

网络繁忙

同步数据

  • 文档创建者:Naya
  • 历史版本:39
  • 最近更新:Naya 于 2024-10-18
  • 1. 概述

    1.1 应用场景

    用户在产品中连接了、旺店通数据源等等,当数据发生变化时,怎么同步到最新的数据呢?

    本文将以简道云数据源为例,介绍各种同步方式的使用。

    1.2 功能简介

    若是想要将数据同步更新,可以手动点击同步,也可以进行设置定时同步。

    操作
    说明

    单表同步/单表定时同步

    可以同步单表的结构及数据

    批量同步/批量定时同步

    可以一次同步多张表的结构及数据

    同步数据源/定时同步可以同步数据源下所有表的结构及数据
    获取最新表

    获取当前数据源的最新数据列表

    (比如增加/删除了一张表,可以使用此功能先同步数据列表,再对新增表单表同步,减少同步时间)

    接受简道云实时推送

    仅简道云数据源可用,可以实现简道云填写的表单数据能够实时对接同步获取最新数据

    1.3 推荐同步方式

    下表中整理了一些常用场景下的推荐同步方式:

    场景推荐同步方式

    数据表中增加了新的字段/删除了某个字段

    数据行数发生变化
    表名/字段名发生变化

    字段顺序发生变化

    单表同步/单表定时同步

    批量同步/批量定时同步

    数据源中新增了一张数据表/删除了一张数据表新增数据表:

    1)先使用「获取最新表」功能同步新的数据列表;

    2)再对这张表「单表同步」

    删除数据表:

    使用「获取最新表」即可同步新的数据列表,已删除的表将不会展示在列表中

    在电商数据源中,可能会出现历史数据调整的情况,但手动同步不能将错误的历史数据覆盖。

    使用「重新同步数据」功能,将当前的数据清除并重新同步一个新的时间范围内的数据。

    注 1:「同步数据源」会对当前数据源下所有表的结构及数据进行同步,数据量较大的情况下,同步所有数据源表可能会耗费很长时间,建议根据表中的不同场景选择对应的同步方式。

    注 2:「同步数据源」会同步所有数据源表,可能会造成某些分析表「随数据源表更新」的自动化任务错误触发。

    2. 单表同步

    若数据源中单个表数据发生了变化,想要同步新的数据,可以使用单表手动同步/单表定时同步。

    2.1 单表手动同步

    选择需要同步的数据表,点击右上角的「同步表单」,可以立即同步至最新数据,如下图所示:

    Group 4.png

    2.2 单表定时同步

    若单表数据每天定时更新,希望也能定时同步数据,可以对单表设置定时同步。

    选择数据表,点击「定时同步」,打开「定时同步」按钮,设置同步开始时间和执行频率,点击「确定」即可按照规则执行定时更新,如下图所示:

    Group 5.png

    3. 多表同步

    若数据源中有多个表数据都发生了变化,想要同步新的数据,可以使用批量同步表/批量设置定时同步,就可以一次性同步多表。

    3.1 批量手动同步

    批量勾选多张表,点击「批量同步表」,可以立即同步至最新数据,如下图所示:

    Group 6.png

    3.2 批量设置定时同步

    若多张表数据每天都是定时更新,希望也能定时同步,可以对多张表批量设置定时同步。

    勾选数据表,点击「批量设置定时同步」,设置同步开始时间和执行频率,点击「确定」后,这几张数据表都会按照规则执行定时更新,如下图所示:

    注:如果之前表已在 2.2 节单表定时同步中进行了设置,批量设置定时同步后,会覆盖原同步条件,替换成新设置的条件。

    Group 7.png

    4. 同步所有表

    「同步数据源」会对当前数据源下所有表的结构及数据进行同步,数据量较大的情况下,同步所有数据表可能会耗费很长时间,建议选择单表同步或者多表同步,减少全量同步的等待时间。

    4.1 手动同步数据源

    如果需要对当前数据源下所有表同步,选择数据源节点,点击「同步数据源」。如下图所示:

    Group 8.png

    4.2 定时同步所有表

    选择数据源节点,选择「定时同步」,设置同步开始时间和执行频率,点击「确定」即可按照规则执行定时更新,如下图所示:

    注1:此「定时同步」会跳过已设置了单表定时同步的表,已有定时同步的表仍按照自己的设置进行同步。

    注2:上述同步规则仅存在全量定时同步,手动全量同步还是会同步数据源下所有的表,不区分是否设置过单表定时同步。

    Group 9.png

    5. 获取最新表结构

    5.1 使用场景

    以简道云数据源为例, 如果在简道云中新增了一张表单数据,想要在本产品中获取表单数据。选择同步数据源的话,所有数据表同步有可能会耗费很长时间。

    此时我们可以先使用「获取最新表」功能,可以获取当前数据源最新列表。再同步这张新增的表单数据,就不需要同步整个数据源了。

    5.2 操作步骤

    场景一

    在简道云中删除某一张表单数据,使用「获取最新表」功能,本产品中可以同步删除这张数据表。

    场景二

    1)在简道云中新增一张表单,先使用「获取最新表」功能同步新的数据列表。如下图所示:

    Group 10.png

    2)再对新增的这张数据表进行单表同步,获取数据。如下图所示:

    Group 11.png

    6. 重新同步数据

    在 电商数据源 中,可能会出现历史数据调整的情况,但数据表是增量同步的,手动同步不能将错误的历史数据覆盖。此时可以使用「重新同步数据」功能,将当前的数据清除并重新同步一个新的时间范围内的数据,如下图所示:

    Group 12.png

    7. 接受简道云实时推送

    使用「接受简道云实时推送」功能前提:

    1)简道云企业开通了 webhook 功能

    2)购买「简道云实时推送」功能,详情参见本文 7.2 节。

    7.1 操作步骤

    「接受简道云实时推送」功能可以将表单数据实时同步到本产品中。

    1)首先获取服务器地址和 Secret ,如下图所示:

    Group 13.png

    2)进入简道云编辑表单界面,点击「扩展功能>数据推送>新建数据推送」,如下图所示:

    Group 14.png

    3)将获取到的服务器地址和 Secret 粘贴在此处,并勾选推送事件,如下图所示:

    注:在简道云配置数据推送时,需要勾选全部推送事件,才能保证数据的准确性。

    Group 15.png

    4)推送时间说明如下表所示:

    注1:只支持实时同步简道云通过表单提交的数据,Excel 和 API 上传至简道云的数据不支持触发简道云的 webhook,因此不支持实时同步,可使用手动/定时同步方式;

    注2:简道云数据第一次发生变化时,会立即同步获取最新数据。若数据在 3 分钟内连续提交,下次同步时间为 3 分钟后。

    推送事件描述备注
    有新数据提交时推送通过表单提交一条数据时触发增量更新,和单表更新独立,不影响数据源表的同步是否成功的状态
    有数据被修改时推送

    修改一条数据的内容时触发,包括流程数据流转、普通表单修改数据、管理员修改数据

    有数据被删除时推送删除一条数据时触发
    有数据被恢复时推送恢复一条数据时触发
    表单结构有变化时字段变更时触发全量更新,走单表更新的逻辑

    7.2 收费说明

    1)「接受简道云实时推送」功能仅高级版或企业版用户可使用,免费版用户请先升级版本。

    2)这里的实时推送数量是指同一个企业下,所有设置过「接受简道云实时推送」的简道云数据连接的数量。

    3)如果提示数量超限:

    • 请选择关闭一些简道云数据源的实时推送按钮;

    • 请管理员购买实时推送数量(这里的数量是以简道云数据连接为单位),购买 1 个数量,即有一个简道云数据连接可设置「接受简道云实时推送」。

    Group 16.png

    8. 同步状态

    1)在数据表名称右侧,会显示数据表的同步状态,帮助用户判断数据表是否同步成功。如下图所示:

    Group 17.png

    2)点击状态标签,可以查看同步详情。若同步失败,可以在弹窗中查看具体的失败原因。如下图所示:

    Group 18.png

    9. 同步次数说明

    同步数据不再限制时间间隔,但限制每张数据表的同步次数。

    9.1 各版本同步次数

    不同版本中,每张数据源表每日最多支持同步的次数如下:

    免费版高级版企业版
    2 次5 次30 次

    9.2 次数扣除规则

    设置定时同步、添加数据到项目后的自动同步、手动同步表单(单表同步、批量同步、全量同步)都会消耗次数。

    每张数据表会显示当前表剩余同步次数,如果次数使用完了,当天就不能再进行同步了。

    Group 19.png

    10. 同步管理

    点击数据连接节点,在右侧「同步管理」中可以启用推送管理。

    1)可设置当每次同步结束,或同步状态为失败/部分成功时,可以将相关信息推送到指定邮箱。如下图所示:

    Group 4.png

    2)例如,对「订单列表」进行同步,同步成功后,会收到以下邮件。如下图所示:

    1.png

    附件列表


    主题: 导入数据源
    • 有帮助
    • 没帮助
    • 只是浏览

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持