反馈已提交

网络繁忙

配置StarRocks数据源

  • 文档创建者:Roxy
  • 历史版本:23
  • 最近更新:Wendy123456 于 2024-11-07
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.0.24

    定时任务输入输出支持 StarRocks

    管道任务数据输出支持 StarRocks

    4.1.2数据服务支持 StarRocks
    4.1.11.4实时任务支持 StarRocks
    4.1.14.1数据连接支持配置套接字超时(SocketTimeout 设置项中配置),控制数据库查询时间在一个合理范围内,避免出现无限等待的问题

     FineDataLink 支持使用 StarRocks 数据源,进行定时任务读写、管道任务写入、作为数据服务数据发布源、实时任务写入

    2. 使用限制

    数据源使用说明详情参见:StarRocks数据源使用说明

    3. 准备工作

    3.1 前提条件

    详情请参见:前提条件

    3.2 版本和驱动

     支持的数据库版本驱动包下载

     1.19及以上版本

    注:若使用数据管道,需要 2.3以上版本。

    已内置,无需下载

    3.3 收集连接信息

    在连接数据库之前,请收集以下信息:

    • 数据库所在服务器的 IP 地址和端口号。

    • 数据库的名称。

    • 数据库的用户名和密码。

    3.4 注意事项

    1)建立数据连接前,需要确保 FDL 能访问 FE 节点、BE 节点。

    2)StarRocks 作为数写入端使用时,需要确保 FE 节点能够访问 BE 节点。原因:

    StarRocks 作为数据写入端使用时,FineDataLink 使用 Stream load 导入方式通过 HTTP 协议导入本地文本文件或者程序文件,导入命令到 FE,FE 会通过 HTTP 重定向指令将请求转发给 BE。还可以将导入命令直接提交到指定的 BE。导入的最终结果由协调器 BE 返回。该方式适用数量级在1G~10G的数据。

    4. 具体连接步骤

    1)管理员登录 FDL 工程,点击「管理系统>数据连接>数据连接管理」,选中某个文件夹后,新建数据连接。如下图所示:

    3.png

    2)设置数据连接名称(可同时修改数据连接所在目录)。如下图所示:

    1730968611225924.png

    3)可根据数据源分类、支持形式、适配模块、数据源名称筛选数据库。如下图所示:

    33.png

    4)输入 3.3 节的连接信息。如下图所示:

    1730969017414147.png

    部分设置项说明如下表所示:

    设置项说明
    FE 节点地址

    如果 StarRocks 作为数据写入端时使用,则需要配置 FE 节点

    值说明:

    填写IP地址或主机名以及端口号,多个地址以,隔开

    含义:

    作为 Stream Load 的连接目标:

    • 格式为 "ip:port"。其中 IP 是 FE 节点 IP,port 是 FE 节点的 http_port;可使用show frontends语句,查询 fe 相关端口

    • 例如:192.168.101.71:8030,192.168.101.209:9030;可以填写多个,填写多个时数据将以轮询的方式写入

    • FE 节点的默认端口(若作为写入端,必须配置)是 8030;JDBC 默认端口是 9030(根据实际需求选择是否配置)

    更多数据库信息详情参见:StarRocks数据源

    SocketTimeout

    4.1.14.1 及之后版本新增

    值说明:

    配置当前数据连接的套接字超时,单位为秒,默认值为 3600

    输入框要求为非负整数,配置为 0 时,视为不设置超时

    该设置项应用场景:

    在网络发生抖动时,可能会出现管道&定时任务发出查询后,无限等待返回数据的问题,用户运维时,看不到报错,但实际任务已不再同步数据

    配置该设置项后,将控制查询在一个合理的范围内,达到套接字超时时间后,SQL 语句会自动中断报错,避免出现无限等待的问题

    该设置项控制的功能范围:

    • 定时任务:对应数据源读写、SQL脚本执行、参数赋值、全局赋值参数

    • 管道任务:对应数据源读写

    • 数据发布:对应数据源查询

    • 库表管理:SQL执行

    5)点击「测试连接」,若连接成功则「保存」该连接。

    5. 使用数据源

    配置好数据源后即可在「定时任务」中使用数据源,详情参见:定时任务概述

    配置好数据源后即可在「数据管道」中将使用数据源,详情参见:数据管道概述

    配置好数据源后即可在「数据服务」中将使用数据源,详情参见:数据服务概述

    配置好数据源后即可在「实时任务」中将使用数据源,详情参见:实时任务概述

    下图示例为「数据同步」中使用StarRocks 数据进行数据开发。




    附件列表


    主题: 隐藏目录(不在目录树中显示,不可以搜到,可以通过链接访问)
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持