1. 概述
FineDataLink 的数据开发、数据管道、数据服务、库表管理模块支持连接多种数据源进行数据的处理操作。
在使用 FineDataLink 处理、同步数据前,您需要先定义数据连接,以便在执行数据处理操作时,通过「数据库>数据连接名称>数据表」,来确定数据的读取和写入位置。
本文为您介绍配置数据连接时,您需要了解的信息。
2. 前提条件
需具备的要素 | 说明 |
---|---|
数据库类型、版本是否符合要求(必看) | FDL 的数据开发、数据管道、数据服务、库表管理模块支持的数据源不同、相同模块的读取和写入能力对数据源的支持也不同,用户需要查看 支持的数据源范围 文档,进行了解 |
功能点注册(必看) | 需要注册功能点后,才能使用数据源。详情请参见:功能点限制 |
网络访问和权限(必看) | FDL 所在服务器与数据库所在服务器能够连通 数据库的连接端口需要开放 |
创建数据连接需具备的权限 | 1)在数据连接根目录中创建数据连接 2)4.1.12.3 及之后版本,在某一文件夹中创建数据连接 |
数据连接用户权限(必看) | 若需要在 FDL 中对数据进行增加、删除、新增等操作,数据连接对应的用户在数据库中需要具备这些权限 |
3. 配置数据连接
创建并管理数据连接通用步骤请参见:创建并管理数据源;每个数据库的数据连接步骤请在 FDL 帮助文档中搜索查看(示例:配置Oracle数据源)。
下表为创建数据连接时,可能用到的功能:
功能 | 说明 |
---|---|
上传驱动(选做) | 有的数据库配置数据连接时需要上传驱动,具体说明请参见 驱动管理 建议使用文档中放置的驱动文件,或者数据库版本对应的官方最新驱动文件 |
认证(选做) | 有的数据库配置数据连接时需要选择认证方式,例如 数据连接 Kerberos 认证 ,具体以每个数据库对应的连接说明文档为准 |
4. 数据连接使用说明
1)配置好数据源后即可在 FDL 的功能模块中使用,详情请参见:数据开发概述、数据服务概述、数据管道概述、库表管理
2)不同数据源对功能的支持程度不同,详情请参见:定时任务数据源功能限制说明、以及具体数据连接操作步骤中的说明(例如:约束限制)
5. 管理数据连接权限说明
数据连接配置成功后,可将数据连接的使用、管理、授权权限分配给他人。
具有文件夹使用、管理、授权权限时,同时具有该文件夹下所有数据连接的使用、管理、授权权限。
用户创建的文件夹、数据连接,默认具备使用和管理权限。
注:4.1.12.3 及之后版本,数据连接可放在文件夹中进行管理。
1)数据连接使用权限:
文件夹使用权限说明:只能查看此文件夹,不支持修改、移动文件夹,不支持在此文件夹下创建数据连接。
数据连接使用权限说明:可查看数据连接,使用该数据连接做数据开发任务。
2)数据连接管理权限:
文件夹管理权限说明:强制具备使用权限,在使用权限的基础上,可以删除、重命名、移动文件夹,支持在此文件夹下创建数据连接。
数据连接管理权限说明:强制具备使用权限,在使用权限的基础上,可以修改数据连接的配置、复制、删除、重命名、移动数据连接。
3)数据连接授权权限:
文件夹授权权限说明:次管登录后可在「管理系统>权限管理」中,将文件夹中的任意数据连接的使用、管理、授权权限分配给可管理的用户。
数据连接授权权限说明:具备某数据连接的授权权限,次管登录后可在「管理系统>权限管理」中,将数据连接的使用、管理、授权权限分配给可管理的用户。
6. 数据连接常见问题
1)数据连接问题排查:汇集不同数据源配置数据连接时的报错及解决方案。
2)确认HDFS地址中的IP和端口:配置 星环 TRANSWARP INCEPTOR 数据源、Hive 数据源 时,存在设置项 HDFS 地址,文档介绍确定 HDFS 地址中 IP 和端口的方法。