反馈已提交

网络繁忙

1.2 (后续增量)简道云实时增量同步到数据库

  • 文档创建者:FineTube
  • 历史版本:6
  • 最近更新:FineTube 于 2022-01-10
  • 1、概述

    1.1 期望效果

    简道云的某个表单的新增的数据可以实时同步到数据库中。

    1.2 配置流程

    ① 在数据服务中创建 API服务用来接收数据

    ② 在简道云应用中配置对应的数据推送功能

    ③ 通过数据集成完成简道云表单新增的实时数据同步

    2、API准备

    API管理

    创建API服务 用来接收数据,并进行发布,具体操作请参考:创建API接收数据

    点击获取URL链接后,此时对应的URL链接为:“http://IP:端口/dataway/service/person_info”。

    3、简道云数据推送配置

    3.1  应用选择

    进入简道云的工作台页面,选择其中一个应用。

    3.2 进入应用

    进入应用后,选择表单,进入编辑模式。

    3.3 API配置

    选择上方菜单栏的扩展功能,后选择数据推送,新建数据推送,将2过程中的Path完整的URL填写到对应的服务器地址栏,无需填写Secret,并测试通过,此时则完成了简道云数据推送配置。

    注:此时的finetube要求对外网开放,保证对应的服务器地址可访问。

    4、任务配置

    任务配置图如下:

    4.1 kafka输入

    bootstrap servers:填写kafka的对应IP和端口,例如"192.168.XX.XX:9092",  与之前配置API时的kafka一致即可,填写完成后可进行测试。

    tpoic:可通过数据服务的topic进行选择。

    其他配置均可默认。

    4.2 初始化JSON格式化

    初步解析,作为过滤筛选的条件。

    手动输入:

    ① 字段名路径:dataId,字段值路径:$.data._id

    ② 字段名路径:root,字段值路径:$

    4.3 条件过滤

    由于简道云中可能存在辅助数据,并非我们全部是我们所需要的真实数据,所以我们用【条件过滤】算子,来过滤筛选掉空数据、脏数据。

    4.4 解析JSON格式化

    对条件过滤后的数据进一步解析。(注意这里字段值路径为$.data._widget_...或者在简道云表单设置别名后,写别名)

    ①从简道云表单进行字段路径查询

    ② 简道云参数配置

    可将简道云【表单数据结构】导出,通过JSON模板自动导入,或者通过手动进行填写。

    新增op字段,便于后续判断增删改操作的判断

    注意:这里字段值路径为$.data._widget_...

    ③ 页面配置填写

    选择【来源于字段?】,字段名称为root(已在4.1中进行配置)

    参考简道云表单JSON格式,填写对应的字段名路径和字段值路径:

    i. 未设置别名时的示例:

    ii. 设置了别名后的示例:

    4.5 数据标记(可选)

    根据op判断增删改操作,表输出可直接选择“智能提交”。

    注:此处的data_create、date_update、date_remove 为简道云自带的数据操作,详情请见4.4的②部分。

    4.6 表输出

    ① 基本属性

    配置简道云数据同步的目标库,支持“自动建表”功能,在数据库没有目标表时,根据“字段配置”自动建表。

    ②字段配置

    自动获取表字段,同时设定业务键,作为数据更新和数据删除的条件。

    简道云中主键推荐采用:dataId,在JSON中对应:_id

    ③写入设置

    方式1:若已配置4.5 数据标记,则可默认选择智能提交。

    方式2:若未配置 4.5 数据标记,可通过自定义提交进行配置。

    根据op判断增删改操作,表输出进行自定义提交。

    注:此处的data_create、date_update、date_remove 为简道云自带的数据操作,详情请见4.4的②部分。

    5、执行计划配置

    实时同步:配置执行计划为简单重复执行,每隔1秒执行一次。


    6、结果查看

    此时通过目标表的查询,已经完成了数据的同步。

    7、文件下载

    示例参考:

    注:出于安全考虑,未导出任务依赖资源。

    简道云表单实时同步_增量.ftr

    附件列表


    主题: 典型场景
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览

    售前咨询电话

    400-811-8890转1

    在线技术支持

    热线电话:400-811-8890转2

    总裁办24H投诉

    热线电话:173-1278-1526

    文 档反 馈

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭