定时任务支持读取和写入 YMatrix 数据库
管道任务支持写入 YMatrix 数据库
数据服务支持读取 YMatrix 数据库
库表管理模块支持 YMatrix 数据库
配置 YMatrix 数据连接步骤请参见:配置YMatrix数据源
定时任务支持读取和写入 YMatrix 数据库。
定时任务中设置数据输出到 YMatrix 数据库时。「写入方式」界面如下图所示:
「装载方式」介绍如下表所示:
1)gpfdist 默认使用 15500 端口
2)二进制类型字段不支持在勾选启用「并行装载」的时候同步
3)支持写入 JSON 类型字段
4)主键冲突策略可选择:主键相同,忽略输入源的数据、主键相同,记录为脏数据、主键相同,覆盖目标表的数据
5)开启 脏数据容忍 后,并行装载方式失败后,需要通过 GPLOAD 内置的错误表逻辑,获取到脏数据信息,正确记录脏数据;如果没有开启脏数据容忍,则节点直接报错
若选择 COPY 装载方式,需要在目标数据库先创建 fdl_temp 模式用来存放临时表,需要用户有建表、建指定模式的权限(如果已由 DBA 建好模式并赋权,数据库用户可不需要建schema的权限)
选择该方式时,支持写入二进制字段、JSON 字段
1)目标表无主键且未配置「主键映射」时,使用 COPY 装载方式
2)目标表有主键或配置「主键映射」后,支持三种主键冲突策略:主键相同,忽略输入源的数据、主键相同,记录为脏数据、主键相同,覆盖目标表的数据;三种主键冲突策略,采用COPY装载方式+普通装载方式
采用COPY装载方式+普通装载方式时:
COPY 装载方式失败后,需要尝试将该批数据使用「普通装载」写入,写入异常将统计进入脏数据,当前这一批数据写完后,下一批继续优先尝试使用 COPY 进行装载
支持部分 定时任务DDL同步 功能。
详情请参见:读取、创建、写入分区表
定时任务支持选择 YMatrix 的分区表作为数据来源或数据去向。
定时任务自动建表支持指定分区和分布逻辑:
目标表为自动建表时,支持点击「分区键设置」按钮。点击「分区键设置」按钮后,界面如下图所示:
YMatrix 支持范围分区、列表分区、哈希分区。
配置方式有如下特殊说明:
范围分区和列表分区分区名称支持为空,为空时按照位置自动取名(相当于不指定名称,数据库会自动取名,不需要FDL处理)
范围分区有两种方式来指定范围(支持指定包含或不包含)
1)方式一:起始值和结束值必填,在起始结束值都合法的时候,才支持指定间隔,来自动划分分区,举例:「start (date '2015-01-01') end (date '2020-12-31') every (interval '1 year')」
字段类型为日期时,间隔支持指定年月日
字段类型为数字时,间隔支持指定正整数
2)方式二:单独指定「大于等于XXX」「小于等于XXX」条件
注:方式一和方式二指定的分区允许共存。
支持指定默认分区。
管道任务支持写入 YMatrix 数据库。
1)目标表选择主键后,以选择的主键作为表的主键和分布键,主键列也作为匹配列,其他字段作为更新列。
2)目前仅支持指定分布键,其他建表特性(高级建表策略包括:指定存储类型(行存/列存)、指定表分布策略(随机分布/指定分布列)、指定分区策略(按时间字段分区等))暂时通过「手动建表」来替代满足。如下图所示:
1)管道任务支持选择 YMatrix 的分区表作为数据去向。
2)管道任务自动建表支持指定分区和分布逻辑。
目标表为自动建表时,支持点击「分区键设置」按钮。点击「分区键设置」后,界面如下图所示:
YMatrix 数据库作为数据服务数据发布源时,支持基于分页参数进行分页查询。
支持读取 YMatrix 的分区表。
支持 库表管理、血缘分析 功能(来源端为「SQL」配置项时,不支持,具体查看文档)。
YMatrix 适配 通用配置-自动建表配置
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙