版本
| FineDataLink版本 | 数据库版本 | 功能变动 |
|---|---|---|
| 4.1.11.2 | 5.X | 定时任务支持读取和写入 YMatrix 数据库 管道任务支持写入 YMatrix 数据库 数据服务支持读取 YMatrix 数据库 库表管理模块支持 YMatrix 数据库 |
配置 YMatrix 数据连接步骤请参见：配置YMatrix数据源
任务开发
数据开发
定时任务支持读取和写入 YMatrix 数据库。
写入方式
定时任务中设置数据输出到 YMatrix 数据库时。「写入方式」界面如下图所示：
「装载方式」介绍如下表所示：
| 装载方式 | 说明 | |||||||
|---|---|---|---|---|---|---|---|---|
| 并行装载 | 1）gpfdist 默认使用 15500 端口 2）二进制类型字段不支持在勾选启用「并行装载」的时候同步 3）支持写入 JSON 类型字段 4）主键冲突策略可选择：主键相同，忽略输入源的数据、主键相同，记录为脏数据、主键相同，覆盖目标表的数据 5）开启 脏数据容忍 后，并行装载方式失败后，需要通过 GPLOAD 内置的错误表逻辑，获取到脏数据信息，正确记录脏数据；如果没有开启脏数据容忍，则节点直接报错 | |||||||
| COPY装载 | 若选择 COPY 装载方式，需要在目标数据库先创建 fdl_temp 模式用来存放临时表，需要用户有建表、建指定模式的权限（如果已由 DBA 建好模式并赋权，数据库用户可不需要建schema的权限） 选择该方式时，支持写入二进制字段、JSON 字段
采用COPY装载方式+普通装载方式时： COPY 装载方式失败后，需要尝试将该批数据使用「普通装载」写入，写入异常将统计进入脏数据，当前这一批数据写完后，下一批继续优先尝试使用 COPY 进行装载 | |||||||
| 普通装载 | 以 JDBC 做串行装载 |
定时任务DDL同步
支持部分 定时任务DDL同步 功能。
分区写入
详情请参见：读取、创建、写入分区表
定时任务支持选择 YMatrix 的分区表作为数据来源或数据去向。
定时任务自动建表支持指定分区和分布逻辑：
目标表为自动建表时，支持点击「分区键设置」按钮。点击「分区键设置」按钮后，界面如下图所示：
YMatrix 支持范围分区、列表分区、哈希分区。
配置方式有如下特殊说明：
范围分区和列表分区分区名称支持为空，为空时按照位置自动取名（相当于不指定名称，数据库会自动取名，不需要FDL处理）
范围分区有两种方式来指定范围（支持指定包含或不包含）
1）方式一：起始值和结束值必填，在起始结束值都合法的时候，才支持指定间隔，来自动划分分区，举例：「start (date '2015-01-01') end (date '2020-12-31') every (interval '1 year')」
字段类型为日期时，间隔支持指定年月日
字段类型为数字时，间隔支持指定正整数
2）方式二：单独指定「大于等于XXX」「小于等于XXX」条件
注：方式一和方式二指定的分区允许共存。
支持指定默认分区。
数据管道
管道任务支持写入 YMatrix 数据库。
建表策略说明
1）目标表选择主键后，以选择的主键作为表的主键和分布键，主键列也作为匹配列，其他字段作为更新列。
2）目前仅支持指定分布键，其他建表特性（高级建表策略包括：指定存储类型（行存/列存）、指定表分布策略（随机分布/指定分布列）、指定分区策略（按时间字段分区等））暂时通过「手动建表」来替代满足。如下图所示：
分区写入
详情请参见：读取、创建、写入分区表
1）管道任务支持选择 YMatrix 的分区表作为数据去向。
2）管道任务自动建表支持指定分区和分布逻辑。
目标表为自动建表时，支持点击「分区键设置」按钮。点击「分区键设置」后，界面如下图所示：
YMatrix 支持范围分区、列表分区、哈希分区。
数据服务
YMatrix 数据库作为数据服务数据发布源时，支持基于分页参数进行分页查询。
支持读取 YMatrix 的分区表。
库表管理
支持 库表管理、血缘分析 功能（来源端为「SQL」配置项时，不支持，具体查看文档）。
其他说明
YMatrix 适配 通用配置-自动建表配置
上一篇：MaxCompute数据源使用说明
