历史版本3 :1.2 (后续增量)简道云实时增量同步到数据库 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1、概述编辑

1.1 期望效果

简道云的某个表单的新增的数据可以实时同步到数据库中。

1.2 配置流程

① 在数据服务中创建 API服务用来接收数据

② 在简道云应用中配置对应的数据推送功能

③ 通过数据集成完成简道云表单新增的实时数据同步

2、API准备编辑

API管理

创建API服务 用来接收数据,并进行发布。

点击获取URL链接后,此时对应的URL链接为:“http://IP:端口/dataway/service/person_info”。

3、简道云数据推送配置编辑

3.1  应用选择

进入简道云的工作台页面,选择其中一个应用。

3.2 进入应用

进入应用后,选择表单,进入编辑模式。

3.3 API配置

选择上方菜单栏的扩展功能,后选择数据推送,新建数据推送,将2过程中的Path完整的URL填写到对应的服务器地址栏,无需填写Secret,并测试通过,此时则完成了简道云数据推送配置。

注:此时的finetube要求对外网开放,保证对应的服务器地址可访问。

4、任务配置编辑

任务配置图如下:

4.1 kafka输入

bootstrap servers:填写kafka的对应IP和端口,例如"192.168.XX.XX:9092",  与之前配置API时的kafka一致即可,填写完成后可进行测试。

tpoic:可通过数据服务的topic进行选择。

其他配置均可默认。

4.2 初始化JSON格式化

初步解析,作为过滤筛选的条件。

手动输入:

① 字段名路径:dataId,字段值路径:$.data._id

② 字段名路径:root,字段值路径:$

4.3 条件过滤

过滤筛选掉空数据、脏数据。

4.4 解析JSON格式化

对条件过滤后的数据进一步解析。(注意这里字段值路径为$.data._widget_...)

①从简道云表单进行字段路径查询

② 简道云参数配置

可将简道云【表单数据结构】导出,通过JSON模板自动导入,或者通过手动进行填写。

新增op字段,便于后续判断增删改操作的判断

注意:这里字段值路径为$.data._widget_...

③ 页面配置填写

选择【来源于字段?】,字段名称为root(已在4.1中进行配置)

参考简道云表单JSON格式,填写对应的字段名路径和字段值路径:

4.5 数据标记

根据op判断增删改操作,标记操作。

注:此处的creatTime、updateTime、deleteTime为简道云自带的utc时间戳,详情请见4.4字段对照表及JSON样例。

4.6 if-else

根据op进行分开操作,一条分支处理增加和修改操作,另一条处理删除操作。

4.7 添加字段

增加修改分支,字段处理,对JSON格式化后的数据根据需求进行函数处理。

在此例子中,由于英文名可能会相同,所以新增一个字段为 英文名+中文名。

4.8 表输出

增加修改分支——表输出,选择数据库表,配置字段主键。

①基本配置


②字段配置

点击获取字段,配置业务键

主键推荐采用:dataId,在JSON中对应:_id


4.9 数据删除

新增删除分支——表输出,选择数据库表,配置字段主键,删除对应数据。
①基本属性

②字段配置

点击获取字段,配置业务键

5、执行计划配置编辑

实时同步:配置执行计划为简单重复执行,每隔1秒执行一次。


6、结果查看编辑

此时通过目标表的查询,已经完成了数据的同步。

7、文件下载编辑

示例参考:

注:出于安全考虑,未导出任务依赖资源。

简道云表单实时同步.ftr