1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.0.26 | - |
4.1.11.4 | 支持定时任务写入 |
1.2 简介
MaxCompute(之前称为 ODPS),是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案,现在已更名为 MaxCompute,MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
FineDataLink 支持定时任务读写 MaxCompute 数据库。
2. 使用限制
1)定时任务支持读写 MaxCompute 数据,数据服务支持使用作为发布数据源。
2)若使用加速参数,数据量超过100w限制时,需要加参数 autoSelectLimit=1000000000。
3)MaxCompute数据源在功能上的使用限制说明请参见:MaxCompute数据源特性说明
2. 配置数据连接
2.1 前提条件
详情请参见:前提条件
2.2 版本和驱动
下载驱动,并将放置在 %FineDataLink%/webroot/web-inf/lib下。
注:不支持使用驱动管理上传驱动。
驱动 | URL | 驱动下载 |
---|---|---|
com.aliyun.odps.jdbc.OdpsDriver | jdbc:odps:<maxcompute_endpoint>?project=<maxcompute_project_name> | odps-jdbc-3.2.26-jar-with-dependencies.jar 注:必须使用文档提供的驱动,不支持使用官方下载的驱动。 |
URL 解释:
<maxcompute_endpoint>:MaxCompute 服务所在区域的 Endpoint。例如,华东1(杭州)区域的外网Endpoint为
http://service.cn-hangzhou.maxcompute.aliyun.com/api
。<maxcompute_project_name>:MaxCompute项目空间名称。
详细可参见:JDBC参考使用说明
2.3 收集连接信息
在连接数据库之前,请收集以下信息:
<maxcompute_endpoint>:MaxCompute 服务所在区域的 Endpoint
<maxcompute_project_name>:MaxCompute项目空间名称
数据库的用户名和密码;密码中不能包含百分号,会导致连接报错。
需要连接的数据库模式;
2.4 具体连接步骤
创建数据连接步骤请参见:创建并管理数据源
需注意:
1)如果要写入 maxcompute,需要去掉数据连接 URL 中的 &interactiveMode=true。此配置可加速读取,但是不能执行 select 之外的语句。
2)建议关闭获取连接前校验和空闲连接可用性定期检查,可提升获取字段映射速度和写数前准备速度。
3)用户可以选择性修改高级设置,详细请参见 创建并管理数据源
4)当 MaxCompute 作为定时任务写入端数据源时,需要设置 Tunnel 设置,填写MaxCompute服务对应区域及连接方式的Tunnel Endpoint,例如http://dt.cn-hangzhou.maxcompute.aliyun.com。
Tunnel服务的连接地址,详情请参见:Endpoint
更多说明详情参见:MaxCompute数据源使用说明