注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.1.11.4 | - |
1.2 应用场景
用户需要实时读取 Pulsar 中的数据,将数据解析后,写入指定数据库中,并使用数据进行报表和实时大屏制作和展示。
1.3 功能简介
FineDataLink 「实时任务」支持使用 Pulsar 输入算子进行实时读取数据。
2. 功能说明
配置项 | 说明 |
---|---|
数据连接 | 配置 Pulsar 数据源之后即可选择对应数据连接 |
Topic | 手动输入读取 Pulsar 中的topic 例如:persistent://public/default/my-topic |
同步类型 |
再次启动任务时,从上次执行结束的断点继续同步,如果断点状态丢失,则按照初次启动逻辑同步数据。 |
输出字段 | 配置读取 Pulsar 消息中哪些信息传输给下游算子
根据选择的数据内容,生成二维表 |
3. 操作步骤
例如希望将 Pulsar 中的数据实时同步并处理后输出至指定的数据库中。
3.1 设置 Pulsar 输入
进入 FineDataLink 数据平台后,选择「数据开发>实时任务」,新建实时任务,,如下图所示:
在任务管理界面选择「编辑」,如下图所示:
进入编辑界面后,拖入 Pulsar 输入算子,选择数据源并设置同步类型,输入 Topic 并设置输出字段,如下图所示:
点击「数据预览」即可看到取出的 Pulsar 数据,如下图所示:
3.2 解析数据
使用「JSON解析」将需要解析的 value 值解析成二维表字段,如下图所示:
3.3 数据输出
设置数据实时计算后输出至指定的数据库中,如下图所示:
DB表输出设置详情参见:DB表输出(实时任务)
3.4 任务启动和管理
点击启动,即可启动实时任务,如下图所示:
同时在任务管理界面看到任务运行状态和运行详情,如下图所示: