1. 概述
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 4.1.11.2 | 定时任务支持读取和写入 YMatrix 数据库 管道任务支持写入 YMatrix 数据库 数据服务支持读取 YMatrix 数据库 库表管理模块支持 YMatrix 数据库 |
| 4.1.14.1 | 数据连接支持配置套接字超时（SocketTimeout 设置项中配置），控制数据库查询时间在一个合理范围内，避免出现无限等待的问题 |
| 4.2.6.4 | 适配 YMatrix 6.X 版本 |
| 4.2.10.2 | 实时任务支持写入 YMatrix 数据库 |
1.2 功能简介
FineDataLink 支持连接 YMatrix 数据库，进行定时任务读写、管道任务写入、实时任务写入，以及作为数据服务数据发布源
2. 使用限制
数据源功能限制说明请参见：YMatrix数据源特性说明
需要注册相关功能点才能使用该数据源，详情请参见：功能点限制
3. 配置需知
3.1 实时管道任务&数据开发-实时任务
实时管道任务、数据开发-实时任务使用 YMatrix 作为目标表时，都是用的 COPY 装载模式。
在使用并行装载数据源前，需要赋予数据连接对应用户指定权限。
1）可以赋予数据连接账号在对应数据库创建模式的权限。
2）在目标数据库先创建 fdl_temp 模式用来存放临时表，然后赋予普通用户这个模式的建表权限即可。
示例命令如下：
GRANT USAGE,CREATE ON SCHEMA fdl_temp TO trans_user ;
ALTER DEFAULT PRIVILEGES IN SCHEMA fdl_temp GRANT SELECT, INSERT, UPDATE, DELETE, REFERENCES, TRIGGER ON TABLES TO trans_user ;
GRANT USAGE,CREATE ON SCHEMA fdl_temp TO trans_user ;
3.2 定时任务
若用户需要使用 YMatrix 作为写入端数据源时，支持三种装载方式：并行装载、COPY装载、普通装载。三种装载方式区别如下表所示：
| 装载方式 | 区别 |
|---|---|
| 普通装载 | 1）向 YMatrix 写入数据时，不建议选择该方式 2）若只从 YMatrix 读取数据，建议按照本文第五章步骤配置数据连接 |
| 并行装载 | 1）支持写入 JSON 类型字段，但仍不支持写入二进制字段 2）并行装载在大数据量、大规模集群场景下性能优于 COPY 3）配置数据连接时需按照本文第四章步骤操作，配置并行装载设置 注：若选择并行装载方式，需要进行权限指定。 |
| COPY装载 | 1）支持写入二进制字段、JSON 字段 2）配置数据连接时，参考本文第五章即可，不用配置并行装载设置 若选择 COPY 装载方式，需要在目标数据库先创建 fdl_temp 模式用来存放临时表，需要用户有建表、建指定模式的权限（如果已由 DBA 建好模式并赋权，数据库用户可不需要建schema的权限） |
3.2.1 并行装载方式赋权
使用 YMatrix 作为目标表时，若使用并行装载模式，则需要进行权限指定。
1）gpfdist_temp 模式下的建表和已有表的读取权限。
注：若不想设置已有表的读取权限，也可以将该模式下 ext_gpload_* 和 staging_gpload_* 表删除，需要先将使用并行装载的任务关停，移除后只需要有 gpfdist_temp 模式下建表权限即可。
GRANT USAGE,CREATE ON SCHEMA gpfdist_temp TO trans_user ;
2）建立外部表的权限。
alter role trans_user with createexttable;
3）目标表的读取权限，如果要自动建表的话还需要对应库的建表权限。
ALTER DEFAULT PRIVILEGES IN SCHEMA gpfdist_temp GRANT SELECT, INSERT, UPDATE, DELETE, REFERENCES, TRIGGER ON TABLES TO trans_user ;
3.2.2 COPY 装载方式赋权
详情参见本文 3.1 节。
3.3 数据服务
数据服务支持 YMatrix 数据库，但需要配置「并行装载设置」项。数据服务请参见：数据服务概述
4. 配置并行装载设置
4.1 前提条件
详情请参见：前提条件
4.2 版本和驱动
下载驱动包，并将其上传至 FineDataLink 中，如何上传详情可参见：驱动管理
| 支持的数据库版本 | 驱动 |
|---|---|
| 5.X、6.X（4.2.6.4 及之后版本适配） | PostgreSQL驱动，请下载最新版 |
4.3 连接步骤
创建数据连接步骤请参见：创建并管理数据源
需注意：
1）配置数据连接时，驱动需要切换为「自定义」，换为本文 4.2 节的驱动。
2）模式需要连接数据库后才可以选择，所以需要先点击「点击连接数据库」后，再选择「模式」。
注1：在未配置库和模式时，会读取到默认的库和模式；用户需要在配置数据连接时指定库和模式。
注2：若有管道任务使用了 YMatrix 数据连接，后续变动数据连接用户名的话，需要为新的数据连接用户赋予 fdl_temp 模式和内部表的权限。
3）若需要向 YMatrix 数据库写入数据，需要配置「并行装载设置」项。如下图所示：
「并行装载设置」说明如下表所示：
| 设置项 | 说明 |
|---|---|
| 服务器地址-节点1 | 必填；输入 gpfdist 服务地址，要求配置 FDL 所在服务器上能被 SEG 访问到的 IP 当数据平台所在环境为集群环境时，展示多个配置项，配置项均为可输入下拉框，配置名为：服务器地址-节点X |
| 复用临时表 | 是否复用临时表（复用临时表在高频装载时，可有效降低系统表膨胀速度） 勾选后，实际运行时，将自动尝试新建「gpfdist_temp」模式并使用 |
| 临时文件条数限制 | 默认值：100000；范围：10000～100000000；必填 落盘的临时文件条数；配置值可根据用户环境的磁盘大小、网络速率调整 |
| 临时文件大小限制（MB） | 默认值：1024；范围：10～102400；必填 落盘的文件大小限制；满足条数与文件大小任一限制时，停止数据文件写入操作，立即进行文件装载 |
4）4.1.14.1 及之后版本，新增 SocketTimeout 设置项。如下图所示：
该设置项应用场景：
在网络发生抖动时，可能会出现管道&定时任务发出查询后，无限等待返回数据的问题，用户运维时，看不到报错，但实际任务已不再同步数据。
配置该设置项后，将控制查询在一个合理的范围内，达到套接字超时时间后，SQL 语句会自动中断报错，避免出现无限等待的问题。
值说明：
配置当前数据连接的套接字超时，单位为秒，默认值为 3600。
输入框要求为非负整数，配置为 0 时，视为不设置超时。
该设置项控制的功能范围：
定时任务：对应数据源读写、SQL脚本执行、参数赋值、全局赋值参数。
管道任务：对应数据源读写。
数据发布：对应数据源查询。
库表管理：SQL执行。
5. 不配置并行装载设置
使用场景：请仔细查看本文第三章内容。
建立数据连接步骤：与本文第四章不同的是，无需配置「并行装载设置」项。
上一篇：StarRocks数据源特性说明
