
产品注册版本为「v5.0共创版」时,才能使用数据开发-实时任务:
1) 如需申请免费试用或增购功能点,请填写链接:实时任务意向使用申请表
2) 如需了解更多实时任务详细信息,可联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
5.0.0.1 | - |
5.0.1.5 | 实时任务中若使用 WebSocket输入、MQTT输入、IBM MQ输入、Pulsar输入,不能再使用分组汇总节点 |
1.2 应用场景
数据开发-实时任务中,希望能做简单的汇总聚合,比如求和、平均值、记录个数。
1.3 功能简介
新增「分组汇总」算子,支持对数据流进行实时聚合计算。如下图所示:
1.4 注意事项
1)需要注册实时高级算子包功能点。
2)需要配置 Flink引擎
3)5.0.1.5 及之后版本,实时任务中若使用 WebSocket输入、MQTT输入、IBM MQ输入、Pulsar输入,不能再使用分组汇总节点。
2. 操作步骤
本章使用一个简单示例,讲解「分组汇总」算子如何在数据开发-实时任务中使用。
2.1 新建实时任务
进入 FineDataLink 工程,点击「数据开发>实时任务」,新建一个实时任务。如下图所示:
2.2 数据输入
拖入「CDC输入」算子,设置待处理的表数据。如下图所示:
点击「数据预览」,如下图所示:
2.3 分组汇总
拖入「分组汇总」算子,根据 date 字段对 num 字段进行分组汇总。如下图所示:
点击「数据预览」,如下图所示:
设置项 | 说明 |
---|---|
维度分组 | 参考数据开发-定时任务中 分组汇总 算子的维度分组设置项说明 |
指标汇总 | 与数据开发-定时任务中 分组汇总 算子的指标汇总设置项大致相同,不同点如下:
|
2.4 数据输出
拖入「DB表输出」算子,将数据输出。如下图所示:
2.5 启动任务
点击右上角的「启动」按钮,启动实时任务。启动后,界面如下图所示: