反馈已提交

网络繁忙

配置MaxCompute数据源

  • 文档创建者:Roxy
  • 历史版本:13
  • 最近更新:Carly 于 2024-12-03
  • 1. 概述

    1.1 版本

     FineDataLink 版本功能变动
    4.0.26-
    4.1.11.4支持定时任务写入

    1.2 简介

    MaxCompute(之前称为 ODPS),是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案,现在已更名为 MaxCompute,MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

    FineDataLink 支持定时任务读写 MaxCompute 数据库。

    1.3 约束限制

    • 定时任务支持读写 MaxCompute 数据,数据服务支持使用作为发布数据源

    • 若使用加速参数,数据量超过100w限制时,需要加参数 autoSelectLimit=1000000000。

    2. 准备工作

    2.1 前提条件

    详情请参见:前提条件

    2.2 版本和驱动

    下载驱动,并将放置在 %FineDataLink%/webroot/web-inf/lib下。

    注:不支持使用驱动管理上传驱动。

    驱动URL驱动下载
    com.aliyun.odps.jdbc.OdpsDriverjdbc:odps:<maxcompute_endpoint>?project=<maxcompute_project_name>

    odps-jdbc-3.2.26-jar-with-dependencies.jar

    注:必须使用文档提供的驱动,不支持使用官方下载的驱动。

    URL 解释:

    • <maxcompute_endpoint>:MaxCompute 服务所在区域的 Endpoint。例如,华东1(杭州)区域的外网Endpoint为http://service.cn-hangzhou.maxcompute.aliyun.com/api

    • <maxcompute_project_name>:MaxCompute项目空间名称。

    详细可参见:JDBC参考使用说明

    2.3 收集连接信息

    在连接数据库之前,请收集以下信息:

    • <maxcompute_endpoint>:MaxCompute 服务所在区域的 Endpoint

    • <maxcompute_project_name>:MaxCompute项目空间名称

    • 数据库的用户名和密码;密码中不能包含百分号,会导致连接报错。

    • 需要连接的数据库模式;

    3. 具体连接步骤

    1)管理员登录 FDL 工程,点击「管理系统>数据连接>数据连接管理」,选中某个文件夹后,新建数据连接。如下图所示:

    2)设置数据连接名称(可同时修改数据连接所在目录)。如下图所示:

    3)可根据数据源分类、支持形式、适配模块、数据源名称筛选数据库。如下图所示:

    4)输入 2.3 节的连接信息,如下图所示:

    注1:如果要写入 maxcompute,需要去掉数据连接 URL 中的 &interactiveMode=true。此配置可加速读取,但是不能执行 select 之外的语句。

    注2:建议关闭获取连接前校验和空闲连接可用性定期检查,可提升获取字段映射速度和写数前准备速度。

    1732103765314844.png

    点击「点击连接数据库」连接成功后,便可以选择模式,如下图所示:

    1732103817706629.png

    注:用户可以选择性修改高级设置,详细请参见 创建并管理数据源 第 2.4 节

    5)当 MaxCompute 作为定时任务写入端数据源时,需要设置 Tunnel 设置,填写MaxCompute服务对应区域及连接方式的Tunnel Endpoint,例如http://dt.cn-hangzhou.maxcompute.aliyun.com。

    Tunnel服务的连接地址,详情请参见:Endpoint

    更多说明详情参见:MaxCompute数据源使用说明

    1732103882595029.png

    6)点击「测试连接」,若连接成功则「保存」该连接。如下图所示:

    52.png

    4. 使用数据源

    配置好数据源后即可在「数据开发」中使用作为读写数据源,详情参见:数据开发概述

    配置好数据源后即可在「数据服务」中将使用数据源,详情参见:数据服务概述

    数据源在 FineDataLink 中的使用说明,详情请参见:MaxCompute数据源使用说明




    附件列表


    主题: 隐藏目录(不在目录树中显示,不可以搜到,可以通过链接访问)
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持