管道任務資料匯出支援 Doris
FineDataLink 支援連結 Doris,進行定時任務讀寫、管道任務寫入、作為資料服務資料發布源、實時任務寫入。
1)Doris 資料源在功能上的使用限制說明請參見:Doris資料源使用說明
2)在建立資料連結前,請確定 FineDataLink 能正常存取 Doris 資料庫的 FE 和 BE 節點。
3)使用 Doris 作為資料寫入端時,請確定 FE 節點可以正常存取 BE 節點。
4)在 Doris 資料連結中,所使用的資料庫使用者需具備 admin 權限,以確定 FineDataLink 功能的正常運作。
詳情請參見:資料連結概述
在連結資料庫之前,請收集以下資訊:
資料庫所在伺服器的 IP 地址和埠號。
資料庫的名稱。
資料庫的帳號和密碼。
建立資料連結步驟請參見:建立並管理資料源
部分設定項說明如下表所示:
如果 Doris 作為資料寫入端時使用,則需要配置 FE 節點
值說明:
填寫 IP 地址或主機名以及埠號
多個地址以,隔開
HTTP 協定:
若適配 HTTP 協定,格式為:ip:port。其中 IP 是 FE 節點 IP,port 是 FE 節點的 http_port;可使用show frontends語句,查詢 fe 相關埠
例如:192.168.101.71:8030,192.168.101.209:9030;可以填寫多個,系統將以輪詢方式進行資料寫入;填寫多個 FE 節點地址時,將選取第一個可用的 FE 節點進行連結
HTTPS協定:
4.2.13.4 及之後版本,新增適配 HTTPS 協定,格式為:https://ip:port
支援填寫多個地址,多個地址間用英文逗號隔開,系統將以輪詢方式進行資料寫入;填寫多個 FE 節點地址時,將選取第一個可用的 FE 節點進行連結
配置當前資料連結的套接字逾時,單位為秒,預設值為 3600
輸入框要求為非負整數,配置為 0 時,視為不設定逾時
2)該設定項應用場景:
在網路發生抖動時,可能會出現管道&定時任務發出查詢後,無限等待傳回資料的問題,使用者維運時,看不到報錯,但實際任務已不再同步資料
配置該設定項後,將控制查詢在一個合理的範圍內,達到套接字逾時時間後,SQL 語句會自動中斷報錯,避免出現無限等待的問題
3)該設定項控制的功能範圍:
定時任務:對應資料源讀寫、SQL腳本執行、參數指派、全局指派參數
管道任務:對應資料源讀寫
資料發布:對應資料源查詢
庫表管理:SQL執行
4.2.16.2 新增此配置,支援配置參數
參數配置、適用範圍及沖突說明請參考官方文檔:Apache Doris
使用場景:
大數據量場景下,可透過參數配置僅更新指定欄位。
例如:新增參數 partial_columns,參數值為 true。寫入 doris 時,取消部分表的欄位映射,效果如下:
詳情請參見:Doris資料源使用說明
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙