历史版本2 :1.2 (后续增量)简道云实时增量同步到数据库 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

 准备工作:
一、配置API接口:

企业微信截图_16079136517893.png二、将配置的API接口url复制到简道云数据推送(现在无需再加  ?service_name=xxx,直接复制粘贴就可以,这里依然要求IP可外网访问 ):
企业微信截图_16079136558393.png
任务配置图如下:

企业微信截图_16079136609473.png一、kafka输入,server填写localhost:9092或IP:9092,与之前配置API时的kafka一致即可。选择数据服务的topic,选择配置好的topic名称。

企业微信截图_16079136669506.png二、json格式化,初步解析,作为过滤筛选的条件。(注意这里字段值路径为$.data._id)

企业微信截图_16079136694263.png三、条件过滤,过滤筛选掉空数据、脏数据。

企业微信截图_16079136728039.png四、json格式化,对条件过滤后的数据进一步解析。(注意这里字段值路径为$.data._widget_...)

企业微信截图_16079136751172.png五、数据标记,根据op判断增删改操作,标记操作。

企业微信截图_16079136781515.png六、if-else,根据op进行分开操作,一条分支处理增加和修改操作,另一条处理删除操作。

企业微信截图_1607913682490.png七、(增加修改分支)字段处理,对json格式化后的数据根据需求进行函数处理。
企业微信截图_16079136859757.png八、(增加修改分支)表输出,选择数据库表,配置字段主键,进行相应操作。
企业微信截图_16079136885740.png企业微信截图_16079136907284.png九、(删除分支)表输出,选择数据库表,配置字段主键,删除对应数据。

企业微信截图_16079136944706.png

企业微信截图_16079136975387.png

十、实时同步记得配置执行计划为简单重复执行,每隔1秒执行一次。

企业微信截图_160791370143.png