版本
FineDataLink 版本 | 功能变动 |
---|---|
4.1.11.4 | MaxCompute「定时任务」「自动建表」支持「分区键设置」 当选择的目标表是分区表(包含分区键),或自动建表时定义了分区键,写入方式新增「分区写入」设置项 |
使用限制
受 MaxCompute JDBC连接的限制,无法获取到字段的非空约束信息,因此前端 not null 列无法正确显示。
任务开发
配置数据连接
详情请参见:配置MaxCompute数据源
数据开发
详情请参见:数据开发概述
数据来源
数据去向与映射
定时任务中设置数据输出到 MaxCompute 数据库时。「数据去向与映射」界面如下图所示:
当 MaxCompute 作为定时任务写入端数据源时,需要设置 Tunnel 设置,填写 MaxCompute 服务对应区域及连接方式的Tunnel Endpoint,详情参见:配置MaxCompute数据源 第三章。
注:写入方式不支持 JDBC。
1)Tunnel上传下载限制:
Tunnel功能及Tunnel SDK当前不支持外部表操作。
Tunnel命令不支持上传下载复杂数据类型:ARRAY、MAP和STRUCT类型的数据。
2)使用Tunnel服务时,注意事项:
Tunnel Endpoint不支持跨域连接,请务必配置与客户端所在地域和网络类型一致的Endpoint以确保访问正常。
若选择「自动建表」,支持「分区键设置」,可选取目标表里的某些字段作为分区键。
单表分区层级最多6级。
详情参见:分区键
支持作为分区键的字段类型:TINYINT、 SMALLINT、INT、BIGINT、CHAR、VARCHAR和STRING数据类型的字段设为分区列。
写入方式
配置项 | 说明 |
---|---|
写入方式 |
|
主键映射 | MaxCompute 不支持主键约束。 |
分区写入设置 | 数据同步节点、数据转换>DB表输出算子中: 1)数据写入 MaxCompute 数据库时,当选择的目标表是分区表(包含分区键),或自动建表时定义了分区键,写入方式新增「分区写入」设置项。 分区级别、分区键均为自动获取,无法自定义;可配置写入方式、分区值。
2)若目标表无分区,交互提示:当前目标表,无分区信息。 |
字段类型相关
读取和写入都不支持json类型
往 string 类型写入 null 会报错(ODPS的bug),因此会将 null 替换为空字符串。
自动建表的字段映射默认填充的是2.0数据类型,如果想新建1.0数据类型的表需要在字段映射中手动修改。
数据管道
详情请参见:数据管道概述
数据服务
详情请参见:数据服务概述