历史版本5 :配置TRANSWARP INCEPTOR数据源 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

版本
4.0.24

1.2 应用场景

企业使用星环 TRANSWARP INCEPTOR 数据库存储业务数据,希望 FineDataLink 定时任务的读写支持星环 TRANSWARP INCEPTOR。

2. 约束限制编辑

由于Hive底层存储(HDFS)的限制,数据同步、数据转换-DB表输出中仅支持追加写入数据,不支持更新数据。

3. 准备工作编辑

3.1 版本和驱动

下载驱动,并将其上传至 FineDataLink,如何上传可参见:驱动管理

 支持的数据库版本选择驱动 驱动包 
V4.6org.apache.hive.jdbc.HiveDriver

4.6-inceptor-driver.jar


V4.6、V4.9.2、V5.2.1、V6.0.2

inceptor-sdk-transwarp-6.1.0-SNAPSHOT.jar

 

3.2 收集连接信息

在连接数据库之前,请收集以下信息:

  • 数据库所在服务器的 IP 地址和端口号;

  • 数据库的名称;

  • 数据库的用户名和密码;

4. 具体连接步骤编辑

1)登录 FineDataLink,选择「管理系统>数据连接>数据连接管理」,点击「新建数据连接」,找到 TRANSWARP INCEPTOR,如下图所示:

注:如果非管理员用户想要配置数据连接,需要管理员给其分配管理系统下数据连接节点的权限,具体操作请查看 数据连接管理权限

3)驱动切换为「自定义」选择 3.1 节上传的驱动,然后输入 3.2 节的连接信息。

星环支持 Kerberos 认证,Kerberos 认证方式详情可参见:数据连接 kerberos 认证。连接前请:

  • 检查 /etc/hosts 中的机器名对应 IP 是否为局域网 IP;

  • 检查 /etc/hostname 中机器名设置和 /etc/hosts 中是否配置一致;

  • 检查 FineDataLink 所在机器 hosts 配置的 IP+ 机器名是否正确;

  • 检查本地连接时需要配置 /etc/hosts 文件,添加远端映射:IP+机器名,例如: 192.168.5.206  centos-phoenix 。

4)如果 TRANSWARP INCEPTOR 作为数据写入端时使用,则需要配置 HDFS 地址,配置说明如下:

由于 inceptor 基于 hive 改写,为了提高写入速度,先建外表到HDFS,再装载到目标表。

配置项
提示说明
配置项解释
HDFS 地址填写IP地址或主机名以及端口号

Hadoop HDFS文件系统处于活跃状态的节点地址

格式为 "hdfs://ip:port"。

例如:hdfs://192.168.101.119:8020

5)进行测试连接,如下图所示:

5.使用数据源编辑

可以使用数据源,在数据同步」「参数赋值」「数据转换-DB表输入」「数据转换-DB表输出」、「SQL脚本」中进行数据的读取或者写入。

下图示例为「数据同步」中使用星环 TRANSWARP INCEPTOR 数据进行数据开发。

6. 注意事项编辑

  • 自动建表时支持设置非空约束(not null),但是前端无法展示。

  • 暂不支持 char 类型字段作为写入端使用,建议使用 varchar 类型字段。