反馈已提交

网络繁忙

Flink引擎

  • 文档创建者:Wendy123456
  • 历史版本:11
  • 最近更新:Richard.Guo 于 2025-08-29
  • icon提示:

    产品注册版本为「v5.0共创版」时,才能使用数据开发-实时任务:

    1) 如需申请免费试用或增购功能点,请填写链接:实时任务意向使用申请表

    2) 如需了解更多实时任务详细信息,可联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    5.0.0.1-

    1.2 应用场景

    用户希望在数据开发-实时任务中做聚合计算, 数据在实时任务中计算后落库。

    1.3 功能简介

    支持配置 Flink 引擎,使 FineDataLink 具备聚合计算的能力,能够支撑部分条件下实时数仓、实时数据看板的搭建。

    2. 配置 Flink 引擎场景

    1)若 数据关联 前的输入算子包含多个实时数据源,需要配置 Flink 引擎。

    2)数据开发-实时任务中,若使用 分组汇总 算子,需要配置 Flink 引擎。

    3)使用 Flink SQL 算子时,需要配置 Flink 引擎。

    3. 使用 Flink 引擎

    注:使用 Flink 引擎的实时任务,不受 负载分配 功能控制,按照 Flink 的内存分配逻辑运行。

    3.1 手动部署 Flink 引擎

    联系技术支持,获取 Flink 引擎部署包,在服务器中部署、启动。

    技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」。

    3.2 FineDataLink 中配置外置引擎

    超管进入 FineDataLink 工程,点击「数据开发>实时任务>全局设置,配置 Flink 引擎。如下图所示:

    16.png

    需要额外配置一些参数才能保证 Flink 任务的稳定运行,支持在高级属性和使用 Flink 引擎的实时任务中配置这些参数。说明如下:

    配置参数位置
    应用场景
    全局设置>高级属性对所有使用 Flink 引擎的实时任务生效

    使用 Flink 引擎的单个实时任务中:

    17.png

    只对单个使用 Flink 引擎的实时任务生效

    优先级高于「全局设置>高级属性中的同名参数

    需要配置的参数如下表所示:

    名称
    描述
    是否必填默认值参考值
    table.exec.state.ttl状态保留时间(毫秒)

    建议配置,避免状态无限制增长

    无(默认状态信息永不过期)60000
    state.backend.type状态后端类型(如 rocksdb)rocksdbrocksdb
    state.backend.rocksdb.localdirRocksDB 本地存储目录/home/xiaohuihui/hdd/flink/rocksdb/
    execution.checkpointing.dircheckpoint存储目录file:///home/xiaohuihui/hdd/flink/checkpoint
    execution.checkpointing.storagecheckpoint存储类型(如 file)filesystemfilesystem
    execution.checkpointing.interval

    checkpoint间隔(毫秒

    检查点的理想触发间隔,每隔固定时间尝试触发一次检查点

    当任务运行状态过大时,频繁保存 Checkpoint可能会导致任务计算速度变慢

    所以适当场景下, 可以扩大系统检查点间隔

    180000(3分钟)60000
    execution.checkpointing.min-pause

    checkpoint最小暂停时间(毫秒

    两个检查点之间的最小强制间隔,上一个检查点完成后,必须等待至少 min-pause 才能触发下一个

    避免检查点过于频繁或重叠,保护任务吞吐量

    详细说明

    未设置时,依赖execution.checkpointing.interval参数

    示例:execution.checkpointing.interval参数配置为10s,检查点执行耗时8s,未配置execution.checkpointing.min-pause时,两次检查点实际间隔为2s,配置execution.checkpointing.min-pause为5s,强制留出 5秒缓冲期,确保任务有足够时间处理数据


    60000
    fdlHostFDL 服务地址192.168.2.8

    3.3 实时任务中使用 Flink 引擎

    可在实时任务中,使用多个实时数据源进行关联,数据处理后输出。详情请参见:维度表输入&数据关联

    35.png




    附件列表


    主题: 数据开发-实时任务
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持