历史版本5 :MQTT输入 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.1.13.2
新增「MQTT输入算子

1.2 应用场景

用户需要实时读取 MQTT 中的数据,将数据解析后,写入指定数据库中,并使用数据进行报表和实时大屏制作和展示。

1.3 功能简介

FineDataLink 的数据开发-实时任务支持使用「MQTT输入算子实时读取数据。

2. 功能说明编辑

MQTT输入算子设置界面如下图所示:

15.png

各设置项说明如下:

设置项
说明
数据源需要先 配置MQTT数据源 的数据连接,才能在此处选择;必填
Topic通过文本框输入 topic,比如:myhome/kitchen/smartdishwasher
输出字段

配置读取 MQTT 消息中哪些信息传输给下游算子,可选择「消息内容」、「主题

1)主题(topic):消息的 topic 名称

2)消息内容(payload):消息的实际内容

  • 对于不同数据格式的 value(json、键值对、Avro等),统一都转换为文本格式

  • 可后接转换算子进行解析

同步类型不可设置,默认为仅增量同步,即从指定的起点开始,持续同步新增的变化数据(增/删/改)
增量同步起点默认为任务启动时间,不可自定义
样本设置因为 MQTT 输入只支持获取生成订阅后的消息,所以进行普通的采样,比如去取 mqtt broker中获取已有的数据,这个是无法实现的,并且考虑到 topic 中不一定有「保留消息」,所以MQTT输入算子的样本设置中提供两种方式:「手动配置」、「获取保留消息」,默认为「获取保留消息」

1)「获取保留消息」:数据预览时,新建一个不影响运行时逻辑的 client 订阅 topic ,如果 topic 中有保留消息时,则可以获取一条数据

2)「手动配置」:根据配置的输出字段,在样本设置弹窗内生成一个 N 列、1 行的二维表,默认生成一条样本数据,用户可以修改其中每一个单元格的内容,各输出字段的默认值为:

  • topic:用户配置的 topic

  • 消息内容:空

数据预览按照配置的输出字段和样本设置展示数据

如果获取保留消息时,topic 中没有保留消息,则只生成表结构,没有数据行

3. 操作步骤编辑

3.1 读取数据

1)登录 FDL 工程,点击「数据开发>实时任务>新建」,新建实时任务。如下图所示:

16.png

自定义位置和名称后,点击编辑按钮进入实时任务设计页面。如下图所示:

17.png

2)拖入「MQTT输入算子,选择数据源,设置 Topic 和输出字段。如下图所示:

18.png

点击数据预览,如下图所示:

取出的数据为 JSON 格式数据。

1729064311644755.png

3.2 解析数据

1)拖入JSON解析算子,解析 3.1 节取出的数据。如下图所示:

20.png

2)点击数据预览,如下图所示:

21.png

3.3 数据输出

设置数据实时计算后输出至指定的数据库中,如下图所示:

DB表输出设置详情参见:DB表输出(实时任务)

22.png

写入方式默认即可。

3.4 任务启动和管理

点击启动,即可启动实时任务,如下图所示:

23.png

同时在任务管理界面看到任务运行状态和运行详情,如下图所示:

25.png