定时任务自动建表支持指定分区
定时任务支持选择分区表作为数据去向
由于Hive底层存储(HDFS)的限制,数据同步、数据转换-DB表输出中仅支持追加写入数据,不支持更新数据。
暂不支持 char 类型字段作为写入端使用,建议使用 varchar 类型字段。
自动建表时支持设置非空约束(not null),但是前端无法展示。
详情请参见:配置TRANSWARP INCEPTOR数据源
定时任务支持选择分区表作为数据去向,如下图所示:
定时任务自动建表支持指定分区键,如下图所示:
详情请参见:读取、创建、写入分区表
支持作为分区键的字段类型:
整数类型:如 tinyint、smallint、int、bigint。
浮点数类型:如 float、double。
字符串类型:如 string、varchar。
日期类型:如 date、timestamp。
其他:如 array、map、struct 等。
复杂类型:例如 array、map、struct 等,这些类型在 Hive 中不被支持作为分区键。
NULL 类型:Hive 不支持 NULL 作为分区键。
集合类型:例如 set、list、tuple 等,这些类型在 Hive 中不被支持作为分区键。
其他特定数据类型:例如 bit、decimal、binary 等,这些类型在 Hive 中也不被支持作为分区键。
当选择的目标表是分区表(包含分区键),或自动建表时定义了分区键,写入方式新增「分区写入」设置项。如下图所示:
分区级别、分区键均为自动获取,无法自定义;用户可配置写入方式、分区值。
写入方式:可选择静态分区、动态分区。
分区值:静态分区写入时,需要为分区键配置分区值。
详情请参见:数据管道概述
详情请参见:数据服务概述
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙