历史版本6 :1.2 (后续增量)简道云实时增量同步到数据库 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1、概述编辑

1.1 期望效果

简道云的某个表单的新增的数据可以实时同步到数据库中。

1.2 配置流程

① 在数据服务中创建 API服务用来接收数据

② 在简道云应用中配置对应的数据推送功能

③ 通过数据集成完成简道云表单新增的实时数据同步

2、API准备编辑

API管理

创建API服务 用来接收数据,并进行发布,具体操作请参考:创建API接收数据

点击获取URL链接后,此时对应的URL链接为:“http://IP:端口/dataway/service/person_info”。

3、简道云数据推送配置编辑

3.1  应用选择

进入简道云的工作台页面,选择其中一个应用。

3.2 进入应用

进入应用后,选择表单,进入编辑模式。

3.3 API配置

选择上方菜单栏的扩展功能,后选择数据推送,新建数据推送,将2过程中的Path完整的URL填写到对应的服务器地址栏,无需填写Secret,并测试通过,此时则完成了简道云数据推送配置。

注:此时的finetube要求对外网开放,保证对应的服务器地址可访问。

4、任务配置编辑

任务配置图如下:

4.1 kafka输入

bootstrap servers:填写kafka的对应IP和端口,例如"192.168.XX.XX:9092",  与之前配置API时的kafka一致即可,填写完成后可进行测试。

tpoic:可通过数据服务的topic进行选择。

其他配置均可默认。

4.2 初始化JSON格式化

初步解析,作为过滤筛选的条件。

手动输入:

① 字段名路径:dataId,字段值路径:$.data._id

② 字段名路径:root,字段值路径:$

4.3 条件过滤

由于简道云中可能存在辅助数据,并非我们全部是我们所需要的真实数据,所以我们用【条件过滤】算子,来过滤筛选掉空数据、脏数据。

4.4 解析JSON格式化

对条件过滤后的数据进一步解析。(注意这里字段值路径为$.data._widget_...或者在简道云表单设置别名后,写别名)

①从简道云表单进行字段路径查询

② 简道云参数配置

可将简道云【表单数据结构】导出,通过JSON模板自动导入,或者通过手动进行填写。

新增op字段,便于后续判断增删改操作的判断

注意:这里字段值路径为$.data._widget_...

③ 页面配置填写

选择【来源于字段?】,字段名称为root(已在4.1中进行配置)

参考简道云表单JSON格式,填写对应的字段名路径和字段值路径:

i. 未设置别名时的示例:

ii. 设置了别名后的示例:

4.5 表输出

① 基本属性

配置简道云数据同步的目标库,支持“自动建表”功能,在数据库没有目标表时,根据“字段配置”自动建表。

②字段配置

自动获取表字段,同时设定业务键,作为数据更新和数据删除的条件。

简道云中主键推荐采用:dataId,在JSON中对应:_id

③写入设置

根据op判断增删改操作,表输出进行自定义提交。

注:此处的data_create、date_update、date_remove 为简道云自带的数据操作,详情请见4.4的②部分。

5、执行计划配置编辑

实时同步:配置执行计划为简单重复执行,每隔1秒执行一次。


6、结果查看编辑

此时通过目标表的查询,已经完成了数据的同步。

7、文件下载编辑

示例参考:

注:出于安全考虑,未导出任务依赖资源。

简道云表单实时同步_增量.ftr