產品註冊版本為「v5.0」時,才能使用資料開發-實時任務。
使用者需要將資料實時匯出至指定資料庫中,便於使用資料進行報表和實時企業戰情室製作和展示。
FineDataLink 「實時任務」支援使用 DB表匯出算子實時將資料匯出至指定資料庫中。
MySQL、Oracle、PostgreSQL、SAP HANA、SQL Server、達夢、GreenPlum、Doris、StarRocks、GaussDB 200、Clickhouse、TiDB、Amazon Redshift。
注:與資料管道任務目標端支援的資料庫相同。
注:4.2.1.4 之前的版本只能同步到 Doris 的主鍵模型、Clickhouse 的 CollapsingMergeTree 中;4.2.1.4 及之後的版本支援帶主鍵匯出,能使用歷史已經建好的表(明細模型或者mergeTree);同時針對 CDC 等資料源,可按照某一個業務欄位當做主鍵,更新目標表的資料。詳情參見:Doris資料源特性說明、StarRocks資料源特性說明、clickhouse数据源使用说明
選擇相應資料庫的資料連結
選擇資料寫入的資料庫表
支援選擇自動建表
支援配置表描述
支援手動建表
與定時任務的DB表匯出一致
已存在表:直接根據該表的主鍵勾選「主鍵」欄,並且使用者不能再調整「主鍵」
自動建表:按照目標表的特性配置建表時的主鍵
寫入方式
寫入方式:
1)直接將資料寫入目標表(僅支援這一種)
2)支援選擇邏輯刪除
3)支援標記時間戳(4.2.1.4 及之後的版本支援)
4)主鍵映射(4.2.1.4 及之後的版本支援)
「標記時間戳」按鈕開啟時:
在目標表追加/使用時間戳欄位,記錄資料實際寫入到資料庫的時間
欄位名為「_fdl_update_timestamp」,與資料管道保持一致
主鍵映射說明:
1)可選擇欄位作為邏輯主鍵映射確定資料唯一性:
當目標表有物理主鍵時,直接使用配置好的物理主鍵進行映射,不支援自訂
當目標表無物理主鍵時,從配置的欄位映射中,選擇一個或多個欄位映射列作為邏輯主鍵映射
2)目標端為 Doris、StarRocks、ClickHouse時,特定場景中可以不配置主鍵映射;但如果當前任務中存在產生更新流的算子時,不支援無主鍵同步;會產生更新流的算子:CDC輸入、分組匯總、資料聯動(多個實時資料源進行聯動)
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙