最新历史版本 :修改Tomcat内存 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

 FineDataLink 版本功能變更
4.0.23定時任務輸入匯出支援 Doris

管道任務資料匯出支援 Doris

4.1資料服務支援 Doris
4.1.11.4實時任務支援
4.1.14.1資料連結支援配置套接字逾時(SocketTimeout 設定項中配置),控制資料庫查詢時間在一個合理範圍內,避免出現無限等待的問題

1.2 應用場景

FineDataLink 支援連結 Doris,進行定時任務讀寫管道任務寫入作為資料服務資料發布源實時任務寫入。

2. 使用限制编辑

FineDataLink 支援連結 Doris ,使用限制說明詳情參見:Doris資料源使用說明

3. 準備工作编辑

3.1 前提條件

詳情請參見:前提條件

3.2 版本和驅動

資料庫
資料庫版本下載驅動
Doris0.14及以上版本FineDataLink已內建相關驅動,無需手動下載安裝

3.3 收集連結資訊

在連結資料庫之前,請收集以下資訊:

  • 資料庫所在伺服器的 IP 地址和埠號。

  • 資料庫的名稱。

  • 資料庫的帳號和密碼。

3.4 注意事項

1)在建立資料連結前,請確定 FineDataLink 能正常存取 Doris 資料庫的 FE 和 BE 節點

2)使用 Doris 作為資料寫入端時,請確定 FE 節點可以正常存取 BE 節點。原因:

在使用 Doris 進行資料寫入時,FineDataLink 透過 HTTP 協定的 Stream Load 方法,將本地正文檔案或程式檔案匯入。

匯入命令首先傳送至 FE,FE 節點透過 HTTP 重定向將請求轉發給 BE 節點,或將匯入命令直接提交到指定的 BE 節點。

匯入程式的最終結果由協調器 BE 傳回。該方法適用於資料量在 1G 至 10G 之間的場景。

3)在 Doris 資料連結中,所使用的資料庫使用者需具備 admin 權限,以確定 FineDataLink 功能的正常運作。

4. 具體連結步驟编辑

1)管理者登入 FDL 工程,點選「管理系統>資料連結>資料連結管理」,選中某個資料夾後,建立資料連結。如下圖所示:

2)設定資料連結名稱(可同時修改資料連結所在目錄)。如下圖所示:

3)可根據資料源分類、支援形式、適配模組、資料源名稱篩選資料庫。如下圖所示:

4)輸入 3.3 節準備的資料庫資訊。如下圖所示:

部分設定項說明如下表所示:

設定項
說明
FE 節點地址

如果 Doris 作為資料寫入端時使用,則需要配置 FE 節點

值說明:

填寫 IP 地址或主機名以及埠號

多個地址以,隔開

含義:

作為 Stream Load 的連結目標,格式為 "ip:port"

其中 IP 是 FE 節點的IP,port 為 FE 節點的 http_port

例如:192.168.101.71:8030,192.168.101.209:9030

可以填寫多個,系統將以輪詢方式進行資料寫入;填寫多個 FE 節點地址時,將選取第一個可用的 FE 節點進行連結

SocketTimeout4.1.14.1 及之後版本新增1)值說明:

配置當前資料連結的套接字逾時,單位為秒,預設值為 3600

輸入框要求為非負整數,配置為 0 時,視為不設定逾時

2)該設定項應用場景:

在網路發生抖動時,可能會出現管道&定時任務發出查詢後,無限等待傳回資料的問題,使用者維運時,看不到報錯,但實際任務已不再同步資料

配置該設定項後,將控制查詢在一個合理的範圍內,達到套接字逾時時間後,SQL 語句會自動中斷報錯,避免出現無限等待的問題

3)該設定項控制的功能範圍:

  • 定時任務:對應資料源讀寫、SQL腳本執行、參數指派、全局指派參數

  • 管道任務:對應資料源讀寫

  • 資料發布:對應資料源查詢

  • 庫表管理:SQL執行

注:如果資料服務並發量較大,建議調大最大活動連結數,防止因資料服務高並發請求導緻資料連結失敗

5)點選「測試連結」,提示「連結成功」,說明FineDataLink與該資料庫可正常連結。

5. 使用資料源编辑

配置好該資料源後,可在以下功能場景中使用,詳情請參見:


功能場景
操作指導
定時任務定時任務概述
資料管道資料管道概述
資料服務資料服務概述
實時任務實時任務概述