1. 概述
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 4.2.18.2 | 数据转换节点中新增「Hbase输出」算子,可将处理好的数据输出到 HBase |
1.2 应用场景
用户有一套订单系统,订单主数据来自 MySQL,希望通过 FDL把订单数据写入 HBase,作为在线明细查询库。
1.3 功能简介
数据转换节点中新增「Hbase输出」算子,可将处理好的数据输出到 HBase 。如下图所示:

2. 前提条件
1)使用该功能前,需要确保数据平台已经注册了「NoSQL」功能点,注册事项详情参见:注册简介
2)需要先创建 配置Hbase数据源
3. 操作步骤
3.1 数据处理
新建定时任务,对数据进行处理。本文示例只是读取了数据库数据,未进行处理,实际场景中用户可在输入算子后拖入其他算子,处理数据。

点击「数据预览」,如下图所示:

3.2 输出到HBase
1)拖入「HBase输出」算子,将数据输出到 HBase 中。

| 设置项 | 说明 |
|---|---|
| 命名空间 | 用于定位对应的库 支持输入和下拉选择 |
| 目标表 | 仅支持已存在表,暂不支持自动建表 |
| RowKey配置 |
字段拼接: 1)选择单字段:适用于上游已有RowKey,RowKey值=配置字段值 2)选择多字段:将选择的N个字段按照规则拼接为RowKey,有顺序要求
表达式生成:
|
| 写入模式 | 固定列: 需要设置family(目标列族)、qualifier(目标列)
动态列:
1)family(目标列族):选择已有列族 2)qualifier(目标列):详情请参见「RowKey配置」设置项说明 |
2)写入方式 Tab 下,设置写入方式。

写入方式支持:直接将数据写入目标表、清空目标表,再写入数据(清表方式为truncate)。
写入方式为直接将数据写入目标表时,RowKey配置项中回显已配置的RowKey,冲突策略为追加写入:
如果对应表没有开启允许写入多版本,RowKey 相同则覆盖数据。
如果对应表开启了写入多版本,但是版本已经达到上限了,则写入最新的数据,hbase 侧淘汰掉最早的数据;如果对应表开启了写入多版本,但是版本未达到上限,则新增数据。
3.3 效果查看
定时任务运行成功后,可看到数据已被写入到 HBase。

