
产品注册版本为「v5.0共创版」时,才能使用数据开发-实时任务:
1) 如需申请免费试用或增购功能点,请填写链接:实时任务意向使用申请表
2) 如需了解更多实时任务详细信息,可联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
5.0.0.1 | - |
1.2 应用场景
用户希望在数据开发-实时任务中做聚合计算, 数据在实时任务中计算后落库。
1.3 功能简介
支持配置 Flink 引擎,使 FineDataLink 具备聚合计算的能力,能够支撑部分条件下实时数仓、实时数据看板的搭建。
2. 配置 Flink 引擎场景
1)若 数据关联 前的输入算子包含多个实时数据源,需要配置 Flink 引擎。
2)数据开发-实时任务中,若使用 分组汇总 算子,需要配置 Flink 引擎。
3)使用 Flink SQL 算子时,需要配置 Flink 引擎。
3. 使用 Flink 引擎
注:使用 Flink 引擎的实时任务,不受 负载分配 功能控制,按照 Flink 的内存分配逻辑运行。
3.1 手动部署 Flink 引擎
联系技术支持,获取 Flink 引擎部署包,在服务器中部署、启动。
技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」。
3.2 FineDataLink 中配置外置引擎
超管进入 FineDataLink 工程,点击「数据开发>实时任务>全局设置」,配置 Flink 引擎。如下图所示:
需要额外配置一些参数才能保证 Flink 任务的稳定运行,支持在高级属性和使用 Flink 引擎的实时任务中配置这些参数。说明如下:
配置参数位置 | 应用场景 |
---|---|
全局设置>高级属性 | 对所有使用 Flink 引擎的实时任务生效 |
使用 Flink 引擎的单个实时任务中: | 只对单个使用 Flink 引擎的实时任务生效 优先级高于「全局设置>高级属性」中的同名参数 |
需要配置的参数如下表所示:
名称 | 描述 | 是否必填 | 默认值 | 参考值 | ||
---|---|---|---|---|---|---|
table.exec.state.ttl | 状态保留时间(毫秒) | 否 建议配置,避免状态无限制增长 | 无(默认状态信息永不过期) | 60000 | ||
state.backend.type | 状态后端类型(如 rocksdb) | 否 | rocksdb | rocksdb | ||
state.backend.rocksdb.localdir | RocksDB 本地存储目录 | 是 | 无 | /home/xiaohuihui/hdd/flink/rocksdb/ | ||
execution.checkpointing.dir | checkpoint存储目录 | 是 | 无 | file:///home/xiaohuihui/hdd/flink/checkpoint | ||
execution.checkpointing.storage | checkpoint存储类型(如 file) | 否 | filesystem | filesystem | ||
execution.checkpointing.interval | checkpoint间隔(毫秒) 检查点的理想触发间隔,每隔固定时间尝试触发一次检查点 | 否 当任务运行状态过大时,频繁保存 Checkpoint可能会导致任务计算速度变慢 所以适当场景下, 可以扩大系统检查点间隔 | 180000(3分钟) | 60000 | ||
execution.checkpointing.min-pause | checkpoint最小暂停时间(毫秒) 两个检查点之间的最小强制间隔,上一个检查点完成后,必须等待至少 min-pause 才能触发下一个 避免检查点过于频繁或重叠,保护任务吞吐量 | 否
| 无 | 60000 | ||
fdlHost | FDL 服务地址 | 是 | 无 | 192.168.2.8 |
3.3 实时任务中使用 Flink 引擎
可在实时任务中,使用多个实时数据源进行关联,数据处理后输出。详情请参见:维度表输入&数据关联