1. 概述
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 5.0.10.1 | 新增 Paimon 数据源,可进行实时任务的读写 |
1.2 功能简介
FineDataLink 支持连接 Paimon 数据源,适配功能:
实时任务读取和写入。
2. 配置数据连接
2.1 前提条件
详情请参见:前提条件
需要注册「大数据」功能点。
2.2 版本和驱动
1)确认数据库版本,下载驱动文件:
| 支持的数据源版本 | 需要驱动 |
|---|---|
支持 Paimon 1.3.1 版本 FineDataLink 支持连接以下类型的 Paimon:
| 必须上传 |
| Metastore类型为filesystem或者hive时,只要文件系统类型为 oss,必须上传这个JAR | |
| Metastore类型为filesystem或者hive时,只要文件系统类型为 s3,必须上传这个JAR | |
paimon-hive.zip
|
2)FineDataLink独立部署 工程,驱动文件下载后,放置到%FDL_home%\webapps\webroot\WEB-INF\lib下;
OPS 部署的 FineDataLink 工程,驱动放置在 FDL 工程外挂目录的 customlib 文件夹下。如忘记工程外挂目录位置,请参考文档查询:导出项目部署信息
若为集群工程,每个集群节点都需要上传一遍驱动文件。
3)重启 FineDataLink工程。
2.3 具体连接步骤
创建数据连接步骤请参见:创建并管理数据源

Metastore类型可选择filesystem、hive:
filesystem:直接访问文件系统上存储的元数据。
hive :使用hive metastore作为元数据服务。
| 设置项 | Metastore类型为filesystem | Metastore类型为hive |
|---|---|---|
| 文件系统类型 | 选择数据实际存储的文件系统类型;支持选择 oss、s3、hdfs | |
| warehouse URL | 数据实际存储的位置 示例:
| |
| 文件系统类型 | 1)选择oss时,配置以下属性:
2)选择s3时,配置以下属性:
| |
| Hive和HDFS配置 | 文件系统类型选择hdfs时,新增该设置项:
| 同左侧说明 |
| Hive Metastore URL | 无该设置项 | 支持通过逗号分隔填入多个URI 示例:thrift://hms-1:9083,thrift://hms-2:9083 |
| 扩展参数项 | 为未来场景做准备,目前无实际意义 | |
