
数据开发-定时任务
数据来源
支持定时任务读取数据库的分区表,如下图所示:
数据去向与映射
定时任务支持选择分区表作为数据去向,如下图所示:
定时任务自动建表支持指定分区和分布键,如下图所示:
注:仅支持一级分区。
详情请参见:读取、创建、写入分区表
配置方式有如下特殊说明:
支持范围分区、列表分区,范围分区(LESS THAN)和列表分区;支持选择多个字段作为分区字段。
1)范围分区和列表分区分区名称不支持为空,为空时按照位置自动取名(相当于不指定名称,数据库会自动取名,不需要FDL处理)
2)范围分区有两种方式来指定范围(不支持指定包含或不包含)
字段类型为日期时,间隔支持指定年月日
字段类型为数字时,间隔支持指定正整数
方式一:起始值和结束值必填,在起始结束值都合法的时候,才支持指定间隔,来自动划分分区,举例:「start (date '2015-01-01') end (date '2020-12-31') every (interval '1 year')」(与GP相同)
方式二:单独指定「小于XXX」条件,支持指定小于「MAXVALUE」(与GP有差异)
注:方式一和方式二指定的分区不允许共存(与GP有差异)
3)范围分区不支持指定默认分区,列表分区支持指定默认分区。
写入方式
写入方式界面中可选择装载方式。如下图所示:
任务运行中不支持切换装载方式;运行暂停/终止允许切换装载方式;装载方式切换之后,任务按照选择的装载方式运行。
装载方式 | 说明 | |||||||
---|---|---|---|---|---|---|---|---|
普通装载 | 默认为普通装载 以 JDBC 做串行装载 应用场景:数据写入量小时推荐使用;或无法提供 COPY 方案所需用户权限时,选择普通装载方式 | |||||||
COPY 装载 | 应用场景:数据写入量较大时推荐使用 若选择 COPY 装载方式,需要在目标数据库先创建 fdl_temp 模式用来存放临时表,需要用户有建表、建指定模式的权限(如果已由 DBA 建好模式并赋权,数据库用户可不需要建 schema 的权限)
采用COPY装载方式+普通装载方式时: COPY 装载方式失败后,需要尝试将该批数据使用「普通装载」写入,写入异常将统计进入脏数据,当前这一批数据写完后,下一批继续优先尝试使用 COPY 进行装载 |
数据管道
GaussDB数据库不支持管道任务设置「目标端执行逻辑删除」。
管道任务中数据写入GaussDB 200
1)选择去向步骤中 可选择装载方式。如下图所示:
若选择 COPY 装载方式,需要在目标数据库先创建 fdl_temp 模式用来存放临时表,因此需要给该数据连接账号赋予在对应数据库创建模式的权限。
COPY装载:数据写入量较大时推荐使用。
普通装载:数据写入量小时推荐使用;或无法提供 COPY 方案所需用户权限时,选择普通装载方式。
2)管道任务自动建表支持指定分区和分布键,如下图所示: