1、概述
1.1 期望效果
简道云的某个表单的新增的数据可以实时同步到数据库中。
1.2 配置流程
① 在数据服务中创建 API服务用来接收数据
② 在简道云应用中配置对应的数据推送功能
③ 通过数据集成完成简道云表单新增的实时数据同步
2、API准备
API管理
创建API服务 用来接收数据,并进行发布,具体操作请参考:创建API接收数据。
点击获取URL链接后,此时对应的URL链接为:“http://IP:端口/dataway/service/person_info”。
3、简道云数据推送配置
3.1 应用选择
进入简道云的工作台页面,选择其中一个应用。
3.2 进入应用
进入应用后,选择表单,进入编辑模式。
3.3 API配置
选择上方菜单栏的扩展功能,后选择数据推送,新建数据推送,将2过程中的Path完整的URL填写到对应的服务器地址栏,无需填写Secret,并测试通过,此时则完成了简道云数据推送配置。
注:此时的finetube要求对外网开放,保证对应的服务器地址可访问。
4、任务配置
任务配置图如下:
4.1 kafka输入
bootstrap servers:填写kafka的对应IP和端口,例如"192.168.XX.XX:9092", 与之前配置API时的kafka一致即可,填写完成后可进行测试。
tpoic:可通过数据服务的topic进行选择。
其他配置均可默认。
4.2 初始化JSON格式化
初步解析,作为过滤筛选的条件。
手动输入:
① 字段名路径:dataId,字段值路径:$.data._id
② 字段名路径:root,字段值路径:$
4.3 条件过滤
由于简道云中可能存在辅助数据,并非我们全部是我们所需要的真实数据,所以我们用【条件过滤】算子,来过滤筛选掉空数据、脏数据。
4.4 解析JSON格式化
对条件过滤后的数据进一步解析。(注意这里字段值路径为$.data._widget_...或者在简道云表单设置别名后,写别名)
①从简道云表单进行字段路径查询
② 简道云参数配置
可将简道云【表单数据结构】导出,通过JSON模板自动导入,或者通过手动进行填写。
新增op字段,便于后续判断增删改操作的判断
注意:这里字段值路径为$.data._widget_...
③ 页面配置填写
选择【来源于字段?】,字段名称为root(已在4.1中进行配置)
参考简道云表单JSON格式,填写对应的字段名路径和字段值路径:
i. 未设置别名时的示例:
ii. 设置了别名后的示例:
4.5 数据标记(可选)
根据op判断增删改操作,表输出可直接选择“智能提交”。
注:此处的data_create、date_update、date_remove 为简道云自带的数据操作,详情请见4.4的②部分。
4.6 表输出
① 基本属性
配置简道云数据同步的目标库,支持“自动建表”功能,在数据库没有目标表时,根据“字段配置”自动建表。
②字段配置
自动获取表字段,同时设定业务键,作为数据更新和数据删除的条件。
简道云中主键推荐采用:dataId,在JSON中对应:_id
③写入设置
方式1:若已配置4.5 数据标记,则可默认选择智能提交。
方式2:若未配置 4.5 数据标记,可通过自定义提交进行配置。
根据op判断增删改操作,表输出进行自定义提交。
注:此处的data_create、date_update、date_remove 为简道云自带的数据操作,详情请见4.4的②部分。
5、执行计划配置
实时同步:配置执行计划为简单重复执行,每隔1秒执行一次。
6、结果查看
此时通过目标表的查询,已经完成了数据的同步。