反馈已提交

网络繁忙

MaxCompute数据源使用说明

  • 文档创建者:Roxy
  • 历史版本:7
  • 最近更新:Roxy 于 2024-08-29
  • 版本

    FineDataLink 版本功能变动
    4.1.11.4

    MaxCompute「定时任务」「自动建表」支持「分区键设置」

    当选择的目标表是分区表(包含分区键),或自动建表时定义了分区键,写入方式新增「分区写入」设置项

    使用限制

    MaxCompute JDBC连接的限制,无法获取到字段的非空约束信息,因此前端 not null 列无法正确显示。

    任务开发

    配置数据连接 

    详情请参见:配置MaxCompute数据源

    数据开发

    详情请参见:数据开发概述

    数据来源

    数据去向与映射

    定时任务中设置数据输出到 MaxCompute 数据库时。「数据去向与映射」界面如下图所示:

    当 MaxCompute 作为定时任务写入端数据源时,需要设置 Tunnel 设置,填写 MaxCompute 服务对应区域及连接方式的Tunnel Endpoint,详情参见:配置MaxCompute数据源 第三章。

    注:写入方式不支持 JDBC

    1)Tunnel上传下载限制:

    • Tunnel功能及Tunnel SDK当前不支持外部表操作。

    • Tunnel命令不支持上传下载复杂数据类型:ARRAY、MAP和STRUCT类型的数据。

    2)使用Tunnel服务时,注意事项:

     Tunnel Endpoint不支持跨域连接,请务必配置与客户端所在地域和网络类型一致的Endpoint以确保访问正常。


    若选择「自动建表」,支持「分区键设置」,可选取目标表里的某些字段作为分区键。

    • 单表分区层级最多6级。

    详情参见:分区键

    支持作为分区键的字段类型:TINYINT、 SMALLINT、INT、BIGINT、CHAR、VARCHAR和STRING数据类型的字段设为分区列。

    写入方式

    配置项
    说明
    写入方式
    • 支持「直接将数据写入目标表」

    • 支持「清空目标表,再写入数据」

    • 不支持「基于标识字段,追加/更新/删除数据」

    主键映射MaxCompute 不支持主键约束。
    分区写入设置

    数据同步节点、数据转换>DB表输出算子中:

    1)数据写入 MaxCompute 数据库时,当选择的目标表是分区表(包含分区键),或自动建表时定义了分区键,写入方式新增「分区写入」设置项。

    分区级别、分区键均为自动获取,无法自定义;可配置写入方式、分区值。

    • 写入方式:支持静态分区。

    • 分区值:静态分区写入时,需要为分区键配置分区值。

    2)若目标表无分区,交互提示:当前目标表,无分区信息。

    字段类型相关

    • 读取和写入都不支持json类型

    • 往 string 类型写入 null 会报错(ODPS的bug),因此会将 null 替换为空字符串。

      自动建表的字段映射默认填充的是2.0数据类型,如果想新建1.0数据类型的表需要在字段映射中手动修改。

    数据管道

    详情请参见:数据管道概述

    数据服务

    详情请参见:数据服务概述


    附件列表


    主题: 隐藏目录(不在目录树中显示,不可以搜到,可以通过链接访问)
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持