反馈已提交

网络繁忙

Hbase输出

  • 文档创建者:Wendy123456
  • 历史版本:3
  • 最近更新:Wendy123456 于 2026-05-21
  • 1. 概述

    1.1 版本

    FineDataLink 版本
    功能变动
    4.2.18.2数据转换节点中新增「Hbase输出算子,可将处理好的数据输出到 HBase 

    1.2 应用场景

    用户有一套订单系统,订单主数据来自 MySQL,希望通过 FDL把订单数据写入 HBase,作为在线明细查询库。

    1.3 功能简介

    数据转换节点中新增「Hbase输出算子,可将处理好的数据输出到 HBase 。如下图所示:

    2.png

    2. 前提条件

    1)使用该功能前,需要确保数据平台已经注册了「NoSQL」功能点,注册事项详情参见:注册简介

    2)需要先创建 配置Hbase数据源

    3. 操作步骤

    3.1 数据处理

    新建定时任务,对数据进行处理。本文示例只是读取了数据库数据,未进行处理,实际场景中用户可在输入算子后拖入其他算子,处理数据。

    1779328443631423.png

    点击「数据预览,如下图所示:

    1779328534942484.png

    3.2 输出到HBase

    1)拖入「HBase输出」算子,将数据输出到 HBase 中。

    7.png

    设置项
    说明
    命名空间
    用于定位对应的库
    支持输入和下拉选择
    目标表仅支持已存在表,暂不支持自动建表
    RowKey配置

    1779328867953134.png

    字段拼接:

    1)选择单字段:适用于上游已有RowKey,RowKey值=配置字段值

    2)选择多字段:将选择的N个字段按照规则拼接为RowKey,有顺序要求

    • 必须设置拼接符,拼接符支持_,  | , #,  :  ,  ,  ,  \u0001(无拼接符)

    表达式生成:

    1779329157211336.png

    • 需要包含上游字段+拼接顺序+拼接符,可选函数或者加工规则

    • 支持的函数:hash / md5

    • 表达式示例:${hash(userId)%16}_${userId}_${orderId}

    写入模式固定列

    需要设置family(目标列族)、qualifier(目标列)

    • family(目标列族):选择已有列族

    • qualifier(目标列):选择已有列

    10.png

    动态列:

    11.png

    1)family(目标列族):选择已有列族

    2)qualifier(目标列):详情请参见「RowKey配置」设置项说明

    2)写入方式 Tab 下,设置写入方式。

    1779329614997221.png

    写入方式支持:直接将数据写入目标表、清空目标表,再写入数据(清表方式为truncate)。

    写入方式为直接将数据写入目标表时,RowKey配置项中回显已配置的RowKey,冲突策略为追加写入:

    • 如果对应表没有开启允许写入多版本,RowKey 相同则覆盖数据。

    • 如果对应表开启了写入多版本,但是版本已经达到上限了,则写入最新的数据,hbase 侧淘汰掉最早的数据;如果对应表开启了写入多版本,但是版本未达到上限,则新增数据。

    3.3 效果查看

    定时任务运行成功后,可看到数据已被写入到 HBase。

    1779330582757289.png




    附件列表


    主题: 数据开发-定时任务
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持