1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.0.26 | - |
4.1.11.4 | 支持定时任务写入 |
1.2 简介
MaxCompute(之前称为 ODPS),是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案,现在已更名为 MaxCompute,MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
FineDataLink 支持定时任务读写 MaxCompute 数据库。
1.3 约束限制
定时任务支持读写 MaxCompute 数据,数据服务支持使用作为发布数据源。
若使用加速参数,数据量超过100w限制时,需要加参数 autoSelectLimit=1000000000。
2. 准备工作
2.1 前提条件
详情请参见:前提条件
2.2 版本和驱动
下载驱动,并将放置在 %FineDataLink%/webroot/web-inf/lib下,如下图所示:
注:不支持使用驱动管理上传驱动。
驱动 | URL | 驱动下载 |
---|---|---|
com.aliyun.odps.jdbc.OdpsDriver | jdbc:odps:<maxcompute_endpoint>?project=<maxcompute_project_name> | odps-jdbc-3.2.26-jar-with-dependencies.jar 注:必须使用文档提供的驱动,不支持使用官方下载的驱动。 |
URL 解释:
<maxcompute_endpoint>:MaxCompute 服务所在区域的 Endpoint。例如,华东1(杭州)区域的外网Endpoint为
http://service.cn-hangzhou.maxcompute.aliyun.com/api
。<maxcompute_project_name>:MaxCompute项目空间名称。
详细可参见:JDBC参考使用说明
2.3 收集连接信息
在连接数据库之前,请收集以下信息:
<maxcompute_endpoint>:MaxCompute 服务所在区域的 Endpoint
<maxcompute_project_name>:MaxCompute项目空间名称
数据库的用户名和密码;密码中不能包含百分号,会导致连接报错。
需要连接的数据库模式;
3. 具体连接步骤
1)管理员登录 FDL 工程,点击「管理系统>数据连接>数据连接管理」,选中某个文件夹后,新建数据连接。如下图所示:
2)设置数据连接名称(可同时修改数据连接所在目录)。如下图所示:
3)可根据数据源分类、支持形式、适配模块、数据源名称筛选数据库。如下图所示:
4)输入 2.3 节的连接信息,如下图所示:
注1:如果要写入 maxcompute,需要去掉数据连接 URL 中的 &interactiveMode=true。此配置可加速读取,但是不能执行 select 之外的语句。
注2:建议关闭获取连接前校验和空闲连接可用性定期检查,可提升获取字段映射速度和写数前准备速度。
点击「点击连接数据库」连接成功后,便可以选择模式,如下图所示:
注:用户可以选择性修改高级设置,详细请参见 创建并管理数据源 第 2.4 节
5)当 MaxCompute 作为定时任务写入端数据源时,需要设置 Tunnel 设置,填写MaxCompute服务对应区域及连接方式的Tunnel Endpoint,例如http://dt.cn-hangzhou.maxcompute.aliyun.com。
Tunnel服务的连接地址,详情请参见:Endpoint
更多说明详情参见:MaxCompute数据源使用说明
6)点击「测试连接」,若连接成功则「保存」该连接。如下图所示:
4. 使用数据源
配置好数据源后即可在「数据开发」中使用作为读写数据源,详情参见:数据开发概述
配置好数据源后即可在「数据服务」中将使用数据源,详情参见:数据服务概述
数据源在 FineDataLink 中的使用说明,详情请参见:MaxCompute数据源使用说明