历史版本2 :1.2 (后续增量)简道云实时增量同步到数据库 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
准备工作:
一、配置API接口:
二、将配置的API接口url复制到简道云数据推送(现在无需再加 ?service_name=xxx,直接复制粘贴就可以,这里依然要求IP可外网访问 ):
任务配置图如下:
一、kafka输入,server填写localhost:9092或IP:9092,与之前配置API时的kafka一致即可。选择数据服务的topic,选择配置好的topic名称。
二、json格式化,初步解析,作为过滤筛选的条件。(注意这里字段值路径为$.data._id)
三、条件过滤,过滤筛选掉空数据、脏数据。
四、json格式化,对条件过滤后的数据进一步解析。(注意这里字段值路径为$.data._widget_...)
五、数据标记,根据op判断增删改操作,标记操作。
六、if-else,根据op进行分开操作,一条分支处理增加和修改操作,另一条处理删除操作。
七、(增加修改分支)字段处理,对json格式化后的数据根据需求进行函数处理。
八、(增加修改分支)表输出,选择数据库表,配置字段主键,进行相应操作。
九、(删除分支)表输出,选择数据库表,配置字段主键,删除对应数据。
十、实时同步记得配置执行计划为简单重复执行,每隔1秒执行一次。