注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
用户需要实时读取 kafka 中的数据,将数据解析后,写入指定数据库中,并使用数据进行报表和实时大屏制作和展示。
FineDataLink 「实时任务」支持使用 Kafka 输入算子进行实时读取数据。
配置Kafka数据源之后即可选择对应数据连接
选择读取 kafka 中的topic
支持手动填入topic
全量+增量同步:初次启动任务时,同步kafka中所有数据,并持续同步 kafka 中的增量数据,再次启动任务时,从上次执行结束的断点继续同步;如果断点状态丢失,则按照初次启动逻辑同步数据。
仅增量同步:可以选择「任务启动时间」和「自定义时间」
1)选择「指定时间」,通过日期时间控件选择时间点。
2)任务启动时间:初次启动任务时,同步启动时间开始的增量数据,再次启动任务时,从上次执行结束的断点继续同步。
3)自定义时间:初次启动任务时,从指定的时间戳开始同步数据,再次启动任务时,从上次执行结束的断点继续同步。
4)如果断点状态丢失,则按照初次启动逻辑同步数据。
时间戳(timestamp):消息的时间戳,消息的创建时间或到达 kafka 的时间
分区(Partition):消息所在的分区
消息键(key):消息的键
偏移量(offset):消息的偏移量
topic:消息的 topic 名称
消息内容(value):消息的实际内容
根据选择的数据内容,生成二维表
例如用户实时读取 kafka 中的数据,解析后进行入库。
进入 FineDataLink 数据平台后,选择「数据开发>实时任务」,新建实时任务,如下图所示:
在任务管理界面选择「编辑」,如下图所示:
进入编辑界面后,拖入 Kafka 输入算子,选择数据源并设置同步类型,输入 Topic 并设置输出字段,如下图所示:
点击「数据预览」即可看到取出的 Kafka 数据,如下图所示:
使用「JSON解析」将需要解析的 value 值解析成二维表字段,如下图所示:
预览数据,即可看到被解析为二维表的数据,如下图所示:
设置数据实时计算后输出至指定的数据库中,如下图所示:
DB表输出设置详情参见:DB表输出(实时任务)
点击启动,即可启动实时任务,如下图所示:
同时在任务管理界面看到任务运行状态,如下图所示:
在日志中即可看到首次同步运行情况,如下图所示:
若此时 Kafka 中新增了一条数据,那么点击「查看」,即可看到实时任务的运行情况,同步了一条数据到指定的数据库中,如下图所示:
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙