反馈已提交

网络繁忙

配置TRANSWARP INCEPTOR数据源

  • 文档创建者:Roxy
  • 历史版本:7
  • 最近更新:Wendy123456 于 2024-02-20
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.0.24-
    4.1.3数据写入星环 TRANSWARP INCEPTOR 数据库时,支持创建、写入分区

    1.2 应用场景

    企业使用星环 TRANSWARP INCEPTOR 数据库存储业务数据,希望 FineDataLink 定时任务的读写支持星环 TRANSWARP INCEPTOR。

    2. 准备工作

    2.1 版本和驱动

    下载驱动,并将其上传至 FineDataLink,如何上传可参见:驱动管理

     支持的数据库版本选择驱动 驱动包 
    V4.6org.apache.hive.jdbc.HiveDriver

    4.6-inceptor-driver.jar


    V4.6、V4.9.2、V5.2.1、V6.0.2

    inceptor-sdk-transwarp-6.1.0-SNAPSHOT.jar

     

    2.2 收集连接信息

    在连接数据库之前,请收集以下信息:

    • 数据库所在服务器的 IP 地址和端口号;

    • 数据库的名称;

    • 数据库的用户名和密码;

    4. 具体连接步骤

    1)登录 FineDataLink,选择「管理系统>数据连接>数据连接管理」,点击「新建数据连接」,找到 TRANSWARP INCEPTOR,如下图所示:

    注:如果非管理员用户想要配置数据连接,需要管理员给其分配管理系统下数据连接节点的权限,具体操作请查看 数据连接管理权限

    3)驱动切换为「自定义」选择 2.1 节上传的驱动,然后输入 3.2 节的连接信息。

    星环支持 Kerberos 认证,Kerberos 认证方式详情可参见:数据连接 kerberos 认证。连接前请:

    • 检查 /etc/hosts 中的机器名对应 IP 是否为局域网 IP;

    • 检查 /etc/hostname 中机器名设置和 /etc/hosts 中是否配置一致;

    • 检查 FineDataLink 所在机器 hosts 配置的 IP+ 机器名是否正确;

    • 检查本地连接时需要配置 /etc/hosts 文件,添加远端映射:IP+机器名,例如: 192.168.5.206  centos-phoenix 。

    4)如果 TRANSWARP INCEPTOR 作为数据写入端时使用,则需要配置 HDFS 地址,配置说明如下:

    由于 inceptor 基于 hive 改写,为了提高写入速度,先建外表到HDFS,再装载到目标表。

    配置项
    提示说明
    配置项解释
    HDFS 地址填写IP地址或主机名以及端口号

    Hadoop HDFS文件系统处于活跃状态的节点地址

    格式为 "hdfs://ip:port"。

    例如:hdfs://192.168.101.119:8020

    确定 HDFS 地址中 IP 和端口的方法请参见:确认HDFS地址中的IP和端口

    5)进行测试连接,如下图所示:

    4. 使用数据源

    可以在数据同步数据转换中使用数据源进行数据读取和写入。

    • 4.1.3 及之后版本,数据写入星环 TRANSWARP INCEPTOR 数据库时,支持创建、写入分区。详情请参见:读取、创建、写入分区表

    • 由于Hive底层存储(HDFS)的限制,数据同步、数据转换-DB表输出中仅支持追加写入数据,不支持更新数据。

    • 暂不支持 char 类型字段作为写入端使用,建议使用 varchar 类型字段。

    注1:基于目标端的不同特性,FineDataLink 针对不同数据库对功能做出限制,详情请参见:不同数据源的功能支持说明

    注2:自动建表时支持设置非空约束(not null),但是前端无法展示。






    附件列表


    主题: 数据源配置与使用
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持