历史版本25 :配置Doris資料源 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

 FineDataLink 版本功能变更
4.0.23定时任务输入输出支持 Doris

管道任务数据输出支持 Doris

4.1数据服务支持 Doris
4.1.11.4实时任务支持

1.2 应用场景

FineDataLink 支持连接 Doris,进行定时任务读写管道任务写入作为数据服务数据发布源实时任务写入。

2. 使用限制编辑

FineDataLink 支持连接 Doris ,使用限制说明详情参见:Doris数据源使用说明

3. 准备工作编辑

3.1 版本和驱动

数据库
数据库版本下载驱动
Doris0.14及以上版本FineDataLink已内置相关驱动,无需手动下载安装

3.2 收集连接信息

在连接数据库之前,请收集以下信息:

  • 数据库所在服务器的 IP 地址和端口号

  • 数据库的名称

  • 数据库的用户名和密码

3.3 注意事项

1)在建立数据连接前,请确保 FineDataLink正常访问 Doris 数据库的 FE 和 BE 节点

2)使用 Doris 作为数据写入端时,请确保 FE 节点可以正常访问 BE 节点。原因:

在使用 Doris 进行数据写入时,FineDataLink 通过 HTTP 协议的 Stream Load 方法,将本地文本文件或程序文件导入。

导入命令首先发送至 FE,FE 节点通过 HTTP 重定向将请求转发给 BE 节点,或将导入命令直接提交到指定的 BE 节点。

导入过程的最终结果由协调器 BE 返回。该方法适用于数据量在 1G 至 10G 之间的场景。

3)在 Doris 数据连接中,所使用的数据库用户需具备 admin 权限,以确保 FineDataLink 功能的正常运行。

4. 具体连接步骤编辑

1)管理员登录 FineDataLink,选择「管理系统>数据连接>数据连接管理」,点击「新建数据连接」,找到 Doris,如下图所示:

注:非管理员用户若需配置数据连接,必须由管理员分配数据连接节点的管理权限。详情请参见:数据连接管理权限

2)输入 3.2 节准备的数据库信息。如下图所示:

  • 如果数据服务并发量较大,建议调大最大活动连接数,防止因数据服务高并发请求导致数据连接失败。

  • 如果 Doris 作为数据写入端时使用,则需要配置 FE 节点,配置说明如下:

配置项
提示说明配置项解释
FE 节点地址

填写 IP 地址或主机名以及端口号

多个地址以,隔开

作为 Stream Load 的连接目标,格式为 "ip:port"

其中 IP 是 FE 节点的IP,port 为 FE 节点的 http_port

例如:192.168.101.71:8030,192.168.101.209:9030

可以填写多个,系统将以轮询方式进行数据写入

3)点击「测试连接」,提示「连接成功」,说明FineDataLink与该数据库可正常连接。

4)点击「保存」,数据连接创建成功。

5. 使用数据源编辑

配置好该数据源后,可在以下功能场景中使用,详情请参见:

功能场景
操作指导
定时任务定时任务概述
数据管道数据管道概述
数据服务数据服务概述
实时任务实时任务概述