历史版本19 :配置Apache Impala数据源 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink版本功能说明
3.5定时任务中,数据输入适配 Impala
4.0.1.1定时任务中,数据输出适配 Impala
4.1数据服务支持 Impala 数据源
4.1.8.3适配Impala 3.4、Impala 4.1
4.2.0.2

数据连接中新增「Kudu设置」:

  • 定时任务支持读写 Kudu 表

  • 管道任务支持写入 Kudu 

  • 数据服务支持发布 Kudu 数据

1.2 功能简介

FineDataLink 支持连接 Apache Impala,进行定时任务读取和写入数据服务发布数据管道写入

4.2.0.2 及之后版本,数据连接中新增Kudu设置」:

  • 定时任务支持读写 Kudu 表。

  • 管道任务支持写入 Kudu 表。

  • 数据服务支持发布 Kudu 数据。

2. 准备工作编辑

2.1 前提条件

1)详情请参见:前提条件

2)4.2.0.2 及之后版本,若想读取、写入 Kudu 表,需要使用 1.7.0 及以上版本的 Kudu。

3)定时任务&管道任务中,若想写入 Apache Impala,必须配置「Kudu地址」。

2.2 版本和驱动

下载驱动,并将其上传至 FineDataLink,如何上传可参见:驱动管理 第 2 节

支持的数据库版本  驱动包链接

Impala 2.2

Impala 2.3

Impala 2.8

Impala 2.9

Impala 2.10

Impala 3.4

Impala 4.1

ImpalaJDBC41.zip


Impala 2.10 kudu1.5

  

ClouderaImpalaJDBC41_2.5.43.rar


2.3 收集连接信息

在连接数据库之前,请收集以下信息:

  • 数据库所在服务器的 IP 地址和端口号。

  • 数据库的名称。

  • 若是用户名密码认证,需要收集用户名和密码;若是 Kerberos 认证,需要收集客户端 principal 和 keytab 密钥路径。

  • 4.2.0.2 及之后版本,若需要读取或写入 Kudu 表,需要准备 Kudu 地址。

3. 具体连接步骤编辑

1)管理员登录 FDL 工程,点击「管理系统>数据连接>数据连接管理」,选中某个文件夹后,新建数据连接。如下图所示:

8.png

2)设置数据连接名称(可同时修改数据连接所在目录)。如下图所示:

1732178625810972.png

3)可根据数据源分类、支持形式、适配模块、数据源名称筛选数据库。如下图所示:

10.png

4)驱动切换为「自定义」选择 2.2 节上传的驱动,然后输入 2.3 节的连接信息。如下图所示:

1732179219154922.png

各设置项说明如下表所示:

设置项
说明
认证方式
支持 Kerberos 认证,Kerberos 认证方式详情可参见:数据连接 Kerberos 认证
Kudu 地址

4.2.0.2 及之后版本支持该设置项,定时任务&管道任务中,若想写入 Apache Impala,必须配置「Kudu地址」

定 Kudu 的 Master 地址,格式为 ip:port,如果有多个 Master,用逗号隔开

5)点击「测试连接」,若连接成功则点击「保存」,如下图所示:

13.png

4. 使用数据源编辑

4.1 数据开发-定时任务

1)定时任务中,支持读取和写入 Apache Impala,若写入 Apache Impala,需要在数据连接中配置「Kudu地址」。

2)定时任务中写入 Apache Impala 时,目标表若选择已存在表,会校验该表是不是 Kudu 表,若不是,不允许写入。

3)定时任务中写入 Apache Impala 时,不支持设置逻辑主键。

4)定时任务中支持读写 Kudu 分区表,详情请参见:读取、创建、写入分区表

4.2 管道任务

4.2.0.2 及之后版本,管道任务支持写入 Kudu 表,目标表若选择「已存在表」,会校验该表是不是 Kudu 表,若不是,不允许写入。

管道任务写入 Kudu 表时,不支持无主键同步。

4.3 数据服务

4.2.0.2 及之后版本,数据服务支持发布 Kudu 数据。