1. 概述
1.1 版本
| FineDataLink 版本 | 功能變動 |
|---|---|
| 4.0.24 | 定時任務輸入匯出支援 StarRocks 管道任務資料匯出支援 StarRocks |
| 4.1.2 | 資料服務支援 StarRocks |
| 4.1.11.4 | 實時任務支援 StarRocks |
| 4.1.14.1 | 資料連結支援配置套接字逾時(SocketTimeout 設定項中配置),控制資料庫查詢時間在一個合理範圍內,避免出現無限等待的問題 |
| 4.2.4.3 | 「行分隔符」增加「推薦分隔符」為\x02,同時預設選中,保證取代為行分隔符後低版本資料正常。 |
| 4.2.7.3 |
|
| 4.2.8.4 | 寫入 StarRocks 時,支援設定資料分批、寫入間隔 |
| 4.2.12.3 | 刪除 FetchSize 配置項 |
1.2 功能簡介
FineDataLink 支援使用 StarRocks 資料源,進行定時任務讀寫、管道任務寫入、作為資料服務資料發布源、實時任務寫入。
2. 使用限制
1)StarRocks 資料源在功能上的使用限制說明請參見:StarRocks資料源使用說明
2)建立資料連結前,需要確定 FDL 能存取 FE 節點、BE 節點。
3)StarRocks 作為數據寫入端使用時,需要確定 FE 節點能夠存取 BE 節點。原因:
StarRocks 作為數據寫入端使用時,FineDataLink 使用 Stream load 匯入方式透過 HTTP 協定匯入本地正文檔案或者程式檔案,匯入命令到 FE,FE 會透過 HTTP 重定向指令將請求轉發給 BE。還可以將匯入命令直接提交到指定的 BE。匯入的最終結果由協調器 BE 傳回。該方式適用數量級在1G~10G的資料。
3. 配置資料連結
3.1 前提條件
詳情請參見:前提條件
3.2 版本和驅動
| 支援的資料庫版本 | 驅動包下載 |
|---|---|
1.19及以上版本 注:若使用資料管道,需要 2.3以上版本。 | 已內建,無需下載 |
3.3 收集連結資訊
在連結資料庫之前,請收集以下資訊:
資料庫所在伺服器的 IP 地址和埠號。
資料庫的名稱。
資料庫的帳號和密碼。
3.4 具體連結步驟
建立資料連結步驟請參見:建立並管理資料源
部分設定項說明:

| 設定項 | 說明 |
|---|---|
| FE 節點地址 | 如果 StarRocks 作為資料寫入端時使用,則需要配置 FE 節點 值說明: 填寫IP地址或主機名以及埠號,多個地址以,隔開 含義: 作為 Stream Load 的連結目標:
更多資料庫資訊詳情參見:StarRocks資料源 |
| SocketTimeout (4.1.14.1 及之後版本新增) | 值說明: 配置當前資料連結的套接字逾時,單位為秒,預設值為 3600 輸入框要求為非負整數,配置為 0 時,視為不設定逾時 該設定項應用場景: 在網路發生抖動時,可能會出現管道&定時任務發出查詢後,無限等待傳回資料的問題,使用者維運時,看不到報錯,但實際任務已不再同步資料 配置該設定項後,將控制查詢在一個合理的範圍內,達到套接字逾時時間後,SQL 語句會自動中斷報錯,避免出現無限等待的問題 該設定項控制的功能範圍:
|
