反馈已提交

网络繁忙

Pulsar输入

  • 文档创建者:Roxy
  • 历史版本:7
  • 最近更新:Wendy123456 于 2024-10-16
  • 注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.1.11.4-

    1.2 应用场景

    用户需要实时读取 Pulsar 中的数据,将数据解析后,写入指定数据库中,并使用数据进行报表和实时大屏制作和展示。

    1.3 功能简介

    FineDataLink 「实时任务」支持使用 Pulsar 输入算子进行实时读取数据。

    2. 功能说明

    配置项说明
    数据连接

    配置 Pulsar 数据源之后即可选择对应数据连接

    Topic

    手动输入读取 Pulsar 中的topic

    例如:persistent://public/default/my-topic

    同步类型
    • 存量+增量同步:初次启动任务时,同步 Pulsar 中所有数据,并持续同步 Pulsar 中的增量数据,再次启动任务时,从上次执行结束的断点继续同步;如果断点状态丢失,则按照初次启动逻辑同步数据。

    • 仅增量同步:从指定的起点开始,持续同步新增的变化数据(增/删/改)

    再次启动任务时,从上次执行结束的断点继续同步,如果断点状态丢失,则按照初次启动逻辑同步数据。

    输出字段配置读取 Pulsar 消息中哪些信息传输给下游算子
    • 时间戳(publishTime):消息的时间戳,消息的创建时间或到达 Pulsar 的时间

    • 消息键(key):消息的键

    • 主题topic:消息的topic名称

    • 消息内容(value):消息的实际内容

    根据选择的数据内容,生成二维表

    3. 操作步骤

    例如希望将 Pulsar 中的数据实时同步并处理后输出至指定的数据库中。

    3.1 设置 Pulsar 输入

    进入 FineDataLink 数据平台后,选择「数据开发>实时任务」,新建实时任务,,如下图所示:

    在任务管理界面选择「编辑」,如下图所示:

    进入编辑界面后,拖入 Pulsar 输入算子,选择数据源并设置同步类型,输入 Topic 并设置输出字段,如下图所示:

    点击「数据预览」即可看到取出的 Pulsar 数据,如下图所示:

    3.2 解析数据

    使用「JSON解析」将需要解析的 value 值解析成二维表字段,如下图所示:

    3.3 数据输出

    设置数据实时计算后输出至指定的数据库中,如下图所示:

    DB表输出设置详情参见:DB表输出(实时任务)

    3.4 任务启动和管理

    点击启动,即可启动实时任务,如下图所示:

    同时在任务管理界面看到任务运行状态和运行详情,如下图所示:

    附件列表


    主题: 数据开发-实时任务
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持