反馈已提交

网络繁忙

配置StarRocks数据源

  • 文档创建者:Roxy
  • 历史版本:29
  • 最近更新:Roxy 于 2025-04-02
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.0.24

    定时任务输入输出支持 StarRocks

    管道任务数据输出支持 StarRocks

    4.1.2数据服务支持 StarRocks
    4.1.11.4实时任务支持 StarRocks
    4.1.14.1数据连接支持配置套接字超时(SocketTimeout 设置项中配置),控制数据库查询时间在一个合理范围内,避免出现无限等待的问题
    4.2.4.3

    「行分隔符」增加「推荐分隔符」为\x02,同时默认选中,保证替换为行分隔符后低版本数据正常。

    1.2 功能简介

     FineDataLink 支持使用 StarRocks 数据源,进行定时任务读写、管道任务写入、作为数据服务数据发布源、实时任务写入

    2. 使用限制

    1)StarRocks 数据源在功能上的使用限制说明请参见:StarRocks数据源使用说明

    2)建立数据连接前,需要确保 FDL 能访问 FE 节点、BE 节点。

    3)StarRocks 作为数写入端使用时,需要确保 FE 节点能够访问 BE 节点。原因:

    StarRocks 作为数据写入端使用时,FineDataLink 使用 Stream load 导入方式通过 HTTP 协议导入本地文本文件或者程序文件,导入命令到 FE,FE 会通过 HTTP 重定向指令将请求转发给 BE。还可以将导入命令直接提交到指定的 BE。导入的最终结果由协调器 BE 返回。该方式适用数量级在1G~10G的数据。

    3. 配置数据连接

    3.1 前提条件

    详情请参见:前提条件

    3.2 版本和驱动

     支持的数据库版本驱动包下载

     1.19及以上版本

    注:若使用数据管道,需要 2.3以上版本。

    已内置,无需下载

    3.3 收集连接信息

    在连接数据库之前,请收集以下信息:

    • 数据库所在服务器的 IP 地址和端口号。

    • 数据库的名称。

    • 数据库的用户名和密码。

    3.4 具体连接步骤

    创建数据连接步骤请参见:创建并管理数据源

    部分设置项说明:

    1730969017414147.png

    设置项说明
    FE 节点地址

    如果 StarRocks 作为数据写入端时使用,则需要配置 FE 节点

    值说明:

    填写IP地址或主机名以及端口号,多个地址以,隔开

    含义:

    作为 Stream Load 的连接目标:

    • 格式为 "ip:port"。其中 IP 是 FE 节点 IP,port 是 FE 节点的 http_port;可使用show frontends语句,查询 fe 相关端口

    • 例如:192.168.101.71:8030,192.168.101.209:9030;可以填写多个,填写多个时数据将以轮询的方式写入;填写多个时将选取第一个可用的 FE 节点进行连接

    • FE 节点的默认端口(若作为写入端,必须配置)是 8030;JDBC 默认端口是 9030(根据实际需求选择是否配置)

    更多数据库信息详情参见:StarRocks数据源

    SocketTimeout

    4.1.14.1 及之后版本新增

    值说明:

    配置当前数据连接的套接字超时,单位为秒,默认值为 3600

    输入框要求为非负整数,配置为 0 时,视为不设置超时

    该设置项应用场景:

    在网络发生抖动时,可能会出现管道&定时任务发出查询后,无限等待返回数据的问题,用户运维时,看不到报错,但实际任务已不再同步数据

    配置该设置项后,将控制查询在一个合理的范围内,达到套接字超时时间后,SQL 语句会自动中断报错,避免出现无限等待的问题

    该设置项控制的功能范围:

    • 定时任务:对应数据源读写、SQL脚本执行、参数赋值、全局赋值参数

    • 管道任务:对应数据源读写

    • 数据发布:对应数据源查询

    • 库表管理:SQL执行

    4. 任务开发

    配置好该数据源后,可在以下功能场景中使用,详情请参见:

    功能场景
    操作指导
    定时任务定时任务概述
    数据管道数据管道概述
    数据服务数据服务概述
    实时任务实时任务概述





    附件列表


    主题: 配置数据源
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持