1. 概述
1.1 版本
FineDataLink 版本 | 功能变更 |
---|---|
4.0.23 | 定时任务输入输出支持 Doris 管道任务数据输出支持 Doris |
4.1 | 数据服务支持 Doris |
4.1.11.4 | 实时任务支持 |
4.1.14.1 | 数据连接支持配置套接字超时(SocketTimeout 设置项中配置),控制数据库查询时间在一个合理范围内,避免出现无限等待的问题 |
1.2 应用场景
FineDataLink 支持连接 Doris,进行定时任务读写、管道任务写入、作为数据服务数据发布源、实时任务写入。
2. 使用限制
FineDataLink 支持连接 Doris ,使用限制说明详情参见:Doris数据源使用说明
3. 准备工作
3.1 前提条件
详情请参见:前提条件
3.2 版本和驱动
数据库 | 数据库版本 | 下载驱动 |
---|---|---|
Doris | 0.14及以上版本 | FineDataLink已内置相关驱动,无需手动下载安装 |
3.3 收集连接信息
在连接数据库之前,请收集以下信息:
数据库所在服务器的 IP 地址和端口号。
数据库的名称。
数据库的用户名和密码。
3.4 注意事项
1)在建立数据连接前,请确保 FineDataLink 能正常访问 Doris 数据库的 FE 和 BE 节点。
2)使用 Doris 作为数据写入端时,请确保 FE 节点可以正常访问 BE 节点。原因:
在使用 Doris 进行数据写入时,FineDataLink 通过 HTTP 协议的 Stream Load 方法,将本地文本文件或程序文件导入。
导入命令首先发送至 FE,FE 节点通过 HTTP 重定向将请求转发给 BE 节点,或将导入命令直接提交到指定的 BE 节点。
导入过程的最终结果由协调器 BE 返回。该方法适用于数据量在 1G 至 10G 之间的场景。
3)在 Doris 数据连接中,所使用的数据库用户需具备 admin 权限,以确保 FineDataLink 功能的正常运行。
4. 具体连接步骤
1)管理员登录 FDL 工程,点击「管理系统>数据连接>数据连接管理」,选中某个文件夹后,新建数据连接。如下图所示:
2)设置数据连接名称(可同时修改数据连接所在目录)。如下图所示:
3)可根据数据源分类、支持形式、适配模块、数据源名称筛选数据库。如下图所示:
4)输入 3.3 节准备的数据库信息。如下图所示:
部分设置项说明如下表所示:
设置项 | 说明 |
---|---|
FE 节点地址 | 如果 Doris 作为数据写入端时使用,则需要配置 FE 节点 值说明: 填写 IP 地址或主机名以及端口号 多个地址以,隔开 含义: 作为 Stream Load 的连接目标,格式为 "ip:port" 其中 IP 是 FE 节点的IP,port 为 FE 节点的 http_port 例如:192.168.101.71:8030,192.168.101.209:9030 可以填写多个,系统将以轮询方式进行数据写入 |
SocketTimeout(4.1.14.1 及之后版本新增) | 1)值说明: 配置当前数据连接的套接字超时,单位为秒,默认值为 3600 输入框要求为非负整数,配置为 0 时,视为不设置超时 2)该设置项应用场景: 在网络发生抖动时,可能会出现管道&定时任务发出查询后,无限等待返回数据的问题,用户运维时,看不到报错,但实际任务已不再同步数据 配置该设置项后,将控制查询在一个合理的范围内,达到套接字超时时间后,SQL 语句会自动中断报错,避免出现无限等待的问题 3)该设置项控制的功能范围:
|
注:如果数据服务并发量较大,建议调大最大活动连接数,防止因数据服务高并发请求导致数据连接失败 |
5)点击「测试连接」,提示「连接成功」,说明FineDataLink与该数据库可正常连接。