1. 概述编辑
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.0.24 | 定时任务输入输出支持 StarRocks 管道任务数据输出支持 StarRocks |
4.1.2 | 数据服务支持 StarRocks |
4.1.11.4 | 实时任务支持 StarRocks |
FineDataLink 支持使用 StarRocks 数据源,进行定时任务读写、管道任务写入、作为数据服务数据发布源、实时任务写入。
2. 使用限制编辑
数据源使用说明详情参见:StarRocks数据源使用说明
3. 准备工作编辑
3.1 版本和驱动
支持的数据库版本 | 驱动包下载 |
---|---|
1.19及以上版本 注:若使用数据管道,需要 2.3以上版本。 | 已内置,无需下载 |
3.2 收集连接信息
在连接数据库之前,请收集以下信息:
数据库所在服务器的 IP 地址和端口号。
数据库的名称。
数据库的用户名和密码。
3.3 注意事项
1)建立数据连接前,需要确保 FDL 能访问 FE 节点、BE 节点。
2)StarRocks 作为数据写入端使用时,需要确保 FE 节点能够访问 BE 节点。原因:
StarRocks 作为数据写入端使用时,FineDataLink 使用 Stream load 导入方式通过 HTTP 协议导入本地文本文件或者程序文件,导入命令到 FE,FE 会通过 HTTP 重定向指令将请求转发给 BE。还可以将导入命令直接提交到指定的 BE。导入的最终结果由协调器 BE 返回。该方式适用数量级在1G~10G的数据。
4. 具体连接步骤编辑
1)登录 FineDataLink,选择「管理系统>数据连接>数据连接管理」,点击「新建数据连接」,找到 StarRocks,如下图所示:
注:如果非管理员用户想要配置数据连接,需要管理员给其分配管理系统下数据连接节点的权限,具体操作请查看 数据连接管理权限
2)输入 3.1 节的连接信息。如下图所示:
如果 StarRocks 作为数据写入端时使用,则需要配置 FE 节点,配置说明如下:
配置项 | 提示说明 | 配置项解释 |
---|---|---|
FE 节点地址 | 填写IP地址或主机名以及端口号,多个地址以,隔开 | 作为 Stream Load 的连接目标:
|
更多数据库信息详情参见:StarRocks数据源
3)进行测试连接,如下图所示: