反馈已提交

网络繁忙

配置MaxCompute数据源

  • 文档创建者:Roxy
  • 历史版本:3
  • 最近更新:Roxy 于 2024-01-15
  • 1. 概述

    1.1 版本

     FineDataLink 版本
    4.0.26

    1.2 简介

    MaxCompute(之前称为 ODPS),是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案,现在已更名为 MaxCompute,MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

    FineDataLink 连接 MaxCompute 后可直接使用 SQL 取数,相比其他产品更加灵活。

    注:MaxCompute读取端实现基于MaxCompute SQL。

    2. 使用限制

    • 定时任务支持读取 MaxCompute 数据,数据服务支持使用作为发布数据源

    • 若使用加速参数,数据量超过100w限制时,需要加参数 autoSelectLimit=1000000000。

    3. 准备工作

    3.1 版本和驱动

    下载驱动,并将其上传至 FineDataLink,如何上传可参见: 驱动管理

    注:需要和驱动一起上传日志jar。

    数据库版本驱动URL驱动下载日志
    3.2.7 以上
    com.aliyun.odps.jdbc.OdpsDriverjdbc:odps:<maxcompute_endpoint>?project=<maxcompute_project_name>

    驱动.rar

    日志jar.zip

    URL 解释:

    • <maxcompute_endpoint>:MaxCompute 服务所在区域的 Endpoint。例如,华东1(杭州)区域的外网Endpoint为http://service.cn-hangzhou.maxcompute.aliyun.com/api

    • <maxcompute_project_name>:MaxCompute项目空间名称。

    详细可参见:JDBC参考使用说明

    3.2 收集连接信息

    在连接数据库之前,请收集以下信息:

    • <maxcompute_endpoint>:MaxCompute 服务所在区域的 Endpoint

    • <maxcompute_project_name>:MaxCompute项目空间名称

    • 数据库的用户名和密码;

    • 需要连接的数据库模式;

    4. 具体连接步骤

    1)以管理员身份登录 FineDataLink ,点击「管理系统>数据连接>数据连接管理」,点击「新建数据连接」如下图所示:

    注:如果非管理员用户想要配置数据连接,需要管理员给其分配管理系统下数据连接节点的权限,具体操作请查看 数据连接权限

    2)找到 MaxCompute 图标,如下图所示:

    3)驱动切换为「自定义」选择 3.1 节上传的驱动和日志,然后输入 3.2 节的连接信息。

    点击「点击连接数据库」测试是否连接成功,如下图所示:

    注:用户可以选择性修改高级设置,详细请参见 连接池设置

    4)测试连接成功后,点击「保存」保存该数据连接。

    4. 使用数据源

    配置好数据源后即可在「数据开发」中使用作为读取数据源,详情参见:数据开发概述

    配置好数据源后即可在「数据服务」中将使用数据源,详情参见:数据服务概述

    5. MaxCompute使用说明

    5.1 官方文档

    MaxCompute官方文档:MaxCompute阿里云官方文档

    DataWorks 官方文档:DataWorks阿里云官方文档

    用户可以使用 DataWorks 对 MaxCompute 进行可视化管理。

    5.2 快速查询(MCQA)

     MaxCompute 的快速查询功能:

    • 可以对中、小数据量查询作业进行加速优化,将执行时间为分钟级的查询作业缩减至秒级,同时完全兼容原 MaxCompute 的查询功能。

    • MCQA 支持将主流BI工具或SQL客户端连接至 MaxCompute 项目,开展即席查询(Ad Hoc)或商业智能(BI)分析。

    • MCQA 使用独立的资源池,不占用配额组,可以自动识别查询作业,缓解排队压力,优化使用体验。

    详细请参见:加速查询概述

    如何在 FineDataLink 中启用计算查询(MCQA)

    在 3.1 节的 URL 后面增加&interactiveMode=true

    详细请参见:加速查询使用说明

    附件列表


    主题: 数据源配置与使用
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持