配置StarRocks資料源

  • 文檔創建者:Roxy
  • 編輯次數:24
  • 最近更新:Nikozhan 于 2025-12-01
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能變動
    4.0.24

    定時任務輸入匯出支援 StarRocks

    管道任務資料匯出支援 StarRocks

    4.1.2資料服務支援 StarRocks
    4.1.11.4實時任務支援 StarRocks
    4.1.14.1資料連結支援配置套接字逾時(SocketTimeout 設定項中配置),控制資料庫查詢時間在一個合理範圍內,避免出現無限等待的問題
    4.2.4.3

    「行分隔符」增加「推薦分隔符」為\x02,同時預設選中,保證取代為行分隔符後低版本資料正常。

    4.2.7.3
    • 定時任務支援選擇 StarRocks 的分割槽表作為資料來源

    • 定時任務&管道任務支援選擇 StarRocks 分割槽表作為資料去向

    • 定時任務&管道任務自動建表支援指定分割槽

    • 資料服務支援選擇 StarRocks 資料連結

    4.2.8.4
    寫入 StarRocks 時,支援設定資料分批、寫入間隔
    4.2.12.3刪除 FetchSize 配置項

    1.2 功能簡介

     FineDataLink 支援使用 StarRocks 資料源,進行定時任務讀寫、管道任務寫入、作為資料服務資料發布源、實時任務寫入

    2. 使用限制

    1)StarRocks 資料源在功能上的使用限制說明請參見:StarRocks資料源使用說明

    2)建立資料連結前,需要確定 FDL 能存取 FE 節點、BE 節點。

    3)StarRocks 作為數寫入端使用時,需要確定 FE 節點能夠存取 BE 節點。原因:

    StarRocks 作為數據寫入端使用時,FineDataLink 使用 Stream load 匯入方式透過 HTTP 協定匯入本地正文檔案或者程式檔案,匯入命令到 FE,FE 會透過 HTTP 重定向指令將請求轉發給 BE。還可以將匯入命令直接提交到指定的 BE。匯入的最終結果由協調器 BE 傳回。該方式適用數量級在1G~10G的資料。

    3. 配置資料連結

    3.1 前提條件

    詳情請參見:前提條件

    3.2 版本和驅動

     支援的資料庫版本驅動包下載

     1.19及以上版本

    注:若使用資料管道,需要 2.3以上版本。

    已內建,無需下載

    3.3 收集連結資訊

    在連結資料庫之前,請收集以下資訊:

    • 資料庫所在伺服器的 IP 地址和埠號。

    • 資料庫的名稱。

    • 資料庫的帳號和密碼。

    3.4 具體連結步驟

    建立資料連結步驟請參見:建立並管理資料源

    部分設定項說明:

    設定項說明
    FE 節點地址

    如果 StarRocks 作為資料寫入端時使用,則需要配置 FE 節點

    值說明:

    填寫IP地址或主機名以及埠號,多個地址以,隔開

    含義:

    作為 Stream Load 的連結目標:

    • 格式為 "ip:port"。其中 IP 是 FE 節點 IP,port 是 FE 節點的 http_port;可使用show frontends語句,查詢 fe 相關埠

    • 例如:192.168.101.71:8030,192.168.101.209:9030;可以填寫多個,填寫多個時資料將以輪詢的方式寫入;填寫多個時將選取第一個可用的 FE 節點進行連結

    • FE 節點的預設埠(若作為寫入端,必須配置)是 8030;JDBC 預設埠是 9030(根據實際需求選擇是否配置)

    更多資料庫資訊詳情參見:StarRocks資料源

    SocketTimeout

    4.1.14.1 及之後版本新增

    值說明:

    配置當前資料連結的套接字逾時,單位為秒,預設值為 3600

    輸入框要求為非負整數,配置為 0 時,視為不設定逾時

    該設定項應用場景:

    在網路發生抖動時,可能會出現管道&定時任務發出查詢後,無限等待傳回資料的問題,使用者維運時,看不到報錯,但實際任務已不再同步資料

    配置該設定項後,將控制查詢在一個合理的範圍內,達到套接字逾時時間後,SQL 語句會自動中斷報錯,避免出現無限等待的問題

    該設定項控制的功能範圍:

    • 定時任務:對應資料源讀寫、SQL腳本執行、參數指派、全局指派參數

    • 管道任務:對應資料源讀寫

    • 資料發布:對應資料源查詢

    • 庫表管理:SQL執行

    4. 任務開發

    配置好該資料源後,可在以下功能場景中使用,詳情請參見:

    功能場景
    操作指導
    定時任務定時任務概述
    資料管道資料管道概述
    資料服務資料服務概述
    實時任務實時任務概述



    附件列表


    主題: 配置資料源
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!