反馈已提交

网络繁忙

Pulsar输入

  • 文档创建者:Roxy
  • 历史版本:11
  • 最近更新:Richard.Guo 于 2025-08-29
  • icon提示:

    产品注册版本为「v5.0共创版」时,才能使用数据开发-实时任务:

    1) 如需申请免费试用或增购功能点,请填写链接:实时任务意向使用申请表

    2) 如需了解更多实时任务详细信息,可联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    5.0.0.1-
    5.0.1.5实时任务中若使用 Pulsar 输入节点,不能再使用 分组汇总(实时任务)Flink SQL数据关联(多个实时数据源进行关联)

    1.2 应用场景

    用户需要实时读取 Pulsar 中的数据,将数据解析后,写入指定数据库中,并使用数据进行报表和实时大屏制作和展示。

    1.3 功能简介

    FineDataLink 「实时任务」支持使用 Pulsar 输入算子进行实时读取数据。

    1.4 功能限制

    5.0.1.5 及之后版本,实时任务中若使用 Pulsar 输入节点,不能再使用 分组汇总(实时任务)Flink SQL数据关联(多个实时数据源进行关联)。

    2. 功能说明

    配置项说明
    数据连接

    配置 Pulsar 数据源之后即可选择对应数据连接

    Topic

    手动输入读取 Pulsar 中的topic

    例如:persistent://public/default/my-topic

    同步类型
    • 存量+增量同步:初次启动任务时,同步 Pulsar 中所有数据,并持续同步 Pulsar 中的增量数据,再次启动任务时,从上次执行结束的断点继续同步;如果断点状态丢失,则按照初次启动逻辑同步数据。

    • 仅增量同步:从指定的起点开始,持续同步新增的变化数据(增/删/改)

    再次启动任务时,从上次执行结束的断点继续同步,如果断点状态丢失,则按照初次启动逻辑同步数据。

    输出字段配置读取 Pulsar 消息中哪些信息传输给下游算子
    • 时间戳(publishTime):消息的时间戳,消息的创建时间或到达 Pulsar 的时间

    • 消息键(key):消息的键

    • 主题topic:消息的topic名称

    • 消息内容(value):消息的实际内容

    根据选择的数据内容,生成二维表

    3. 操作步骤

    例如希望将 Pulsar 中的数据实时同步并处理后输出至指定的数据库中。

    3.1 设置 Pulsar 输入

    进入 FineDataLink 数据平台后,选择「数据开发>实时任务」,新建实时任务,,如下图所示:

    在任务管理界面选择「编辑」,如下图所示:

    进入编辑界面后,拖入 Pulsar 输入算子,选择数据源并设置同步类型,输入 Topic 并设置输出字段,如下图所示:

    点击「数据预览」即可看到取出的 Pulsar 数据,如下图所示:

    3.2 解析数据

    使用「JSON解析」将需要解析的 value 值解析成二维表字段,如下图所示:

    3.3 数据输出

    设置数据实时计算后输出至指定的数据库中,如下图所示:

    DB表输出设置详情参见:DB表输出(实时任务)

    3.4 任务启动和管理

    点击启动,即可启动实时任务,如下图所示:

    同时在任务管理界面看到任务运行状态和运行详情,如下图所示:

    附件列表


    主题: 数据开发-实时任务
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持