1. 概述
1.1 版本
FineDataLink 版本 |
---|
4.0.26 |
1.2 简介
MaxCompute(之前称为 ODPS),是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案,现在已更名为 MaxCompute,MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
FineDataLink 连接 MaxCompute 后可直接使用 SQL 取数,相比其他产品更加灵活。
注:MaxCompute读取端实现基于MaxCompute SQL。
2. 使用限制
定时任务支持读取 MaxCompute 数据,数据服务支持使用作为发布数据源。
若使用加速参数,数据量超过100w限制时,需要加参数 autoSelectLimit=1000000000。
3. 准备工作
3.1 版本和驱动
下载驱动,并将其上传至 FineDataLink,如何上传可参见: 驱动管理。
注:需要和驱动一起上传日志jar。
数据库版本 | 驱动 | URL | 驱动下载 | 日志 |
---|---|---|---|---|
3.2.7 以上 | com.aliyun.odps.jdbc.OdpsDriver | jdbc:odps:<maxcompute_endpoint>?project=<maxcompute_project_name> |
URL 解释:
<maxcompute_endpoint>:MaxCompute 服务所在区域的 Endpoint。例如,华东1(杭州)区域的外网Endpoint为http://service.cn-hangzhou.maxcompute.aliyun.com/api。
<maxcompute_project_name>:MaxCompute项目空间名称。
详细可参见:JDBC参考使用说明
3.2 收集连接信息
在连接数据库之前,请收集以下信息:
<maxcompute_endpoint>:MaxCompute 服务所在区域的 Endpoint
<maxcompute_project_name>:MaxCompute项目空间名称
数据库的用户名和密码;
需要连接的数据库模式;
4. 具体连接步骤
1)以管理员身份登录 FineDataLink ,点击「管理系统>数据连接>数据连接管理」,点击「新建数据连接」,如下图所示:
注:如果非管理员用户想要配置数据连接,需要管理员给其分配管理系统下数据连接节点的权限,具体操作请查看 数据连接权限
2)找到 MaxCompute 图标,如下图所示:
3)驱动切换为「自定义」选择 3.1 节上传的驱动和日志,然后输入 3.2 节的连接信息。
点击「点击连接数据库」测试是否连接成功,如下图所示:
注:用户可以选择性修改高级设置,详细请参见 连接池设置
4)测试连接成功后,点击「保存」保存该数据连接。
4. 使用数据源
5. MaxCompute使用说明
5.1 官方文档
MaxCompute官方文档:MaxCompute阿里云官方文档
DataWorks 官方文档:DataWorks阿里云官方文档
用户可以使用 DataWorks 对 MaxCompute 进行可视化管理。
5.2 快速查询(MCQA)
MaxCompute 的快速查询功能:
可以对中、小数据量查询作业进行加速优化,将执行时间为分钟级的查询作业缩减至秒级,同时完全兼容原 MaxCompute 的查询功能。
MCQA 支持将主流BI工具或SQL客户端连接至 MaxCompute 项目,开展即席查询(Ad Hoc)或商业智能(BI)分析。
MCQA 使用独立的资源池,不占用配额组,可以自动识别查询作业,缓解排队压力,优化使用体验。
详细请参见:加速查询概述
如何在 FineDataLink 中启用计算查询(MCQA)
在 3.1 节的 URL 后面增加&interactiveMode=true
详细请参见:加速查询使用说明