1. 概述
1.1 版本
FineDataLink版本 | 功能變動 |
---|---|
4.1.11.1 | - |
4.2.0.1 | 來源端為「SQL」配置項時,支援 Hive 資料源 |
4.2.1.2 | 來源端為「SQL」配置項時,支援 Greenplum 資料源 |
4.2.6.4 | 新增「重置血緣」功能,支援以資料連結為維度重新整理血緣 優化:
|
4.2.7.3 |
|
1.2 應用場景
1)根據表找相關任務&上下游表
IT 人員根據分析需求在資料庫中對某個表增加了欄位,需要快速找到跟這個表相關的任務進行 SQL 語句的調整。
當前接手開發的 IT 人員需要明確知道資料庫表之間的上下游關係,但只有原開發人員最清楚這些邏輯,交接成本高。
2)根據任務查看使用到的表
IT 人員會把業務相關的資料放在一個定時任務中管理,使用到的表眾多,表與表經常混淆,在編輯任務的時候需要快捷查看到當前任務使用到的表,確定不會重複作業和便於後續管理。
1.3 功能說明
點選「資料管理>庫表管理」,選擇資料連結的某張表後,可查看資料表、API(資料服務)、定時任務節點、管道任務的血緣關係。如下圖所示:
1.4 使用前提
需要註冊「資料血緣」功能點。
2. 血缘分析功能说明
2.1 血緣分析支援範圍
選擇配置項 | 支援資料源 | 支援功能範圍 |
---|---|---|
來源端為「選表」配置項 | 支援所有資料源 |
|
目標端為「目標表」配置項 | 支援所有資料源 |
|
來源端為「SQL」配置項 | 1)4.2.7.3 之前版本,僅支援Mysql、Oracle、SQL server、Postgre、Hive、Greenplum 2)4.2.7.3 及之後版本,新增適配的資料源:db2、sqlite、Hsql、Informix、達夢、KingBase、TiDB、ClickHouse、PolarDB PostgreSQL、Presto、Gaussdb 200、Gbase8a、阿里雲MaxCompute(odps) |
|
不同資料源適配血緣分析功能時的特性說明:
場景 | 說明 |
---|---|
資料來源為 Oracle 資料源 | 4.2.6.4 及之後版本,Oracle 資料源解析支援模糊匹配大小寫表名,查詢 SQL 語句中:
|
資料來源為 PostgreSQL 資料源 | 資料來源為 PostgreSQL 資料庫時,select 語句中包含的欄位名不能為 type,否則血緣分析功能將無法正常使用 |
insert into xxx select * from文法 | 1)在資料開發-SQL脚本中 insert into xxx select * from文法暫不支援解析來源目標端,現在僅解析為引用關係 範例: |
定時任務中存在禁用節點 | 4.2.6.4 及之後版本,新發布的任務中存在禁用節點,禁用節點的解析內容不展示在血緣檢視表中,歷史內容不做處理 |
DB匯出(交易) | DB匯出(交易)中的前置 SQL 和後置 SQL 暫不解析,包含交易回滾產生的臨時表不解析在血緣中 |
表名顯示 | 表名都為原始名顯示,非 SQL 語句中 as 後的轉義名 |
表分割槽 | 若表分割槽,則展示主表,不展示分割槽表資訊 |
檢視表&儲存程式 |
|
注:INSERT INTO ... SELECT 語句是 MySQL 中的一個組合語句,它允許從一個表中選擇資料,並將這些資料插入到另一個表中。在資料開發-SQL腳本中 insert into xxx select 文法暫不支援解析來源目標端,現在僅解析為引用關系。
2.2 血緣更新時機
2.2.1 任務維度更新
物件 | 增、改 | 刪除 |
---|---|---|
定時任務 | 定時任務成功發佈到生產環境 |
|
管道任務 | 管道任務每次啟動時,更新血緣關係 | 任務刪除,血緣關係自動刪除 |
API | 每次發佈成功更新血緣關係 | API下線、刪除,血緣關係自動刪除 |
2.2.2 資料連結維度更新
應用場景:
使用者前期升級時資料連結 A 連結失敗,升級後資料連結下的表就無血緣關係。若想更新血緣,需要重新發布任務,但不確定哪些任務用到了這個資料連結下的表。
功能說明:
4.2.6.4 及之後版本,增加「重置血緣」功能。若需要更新血緣,超級管理者支援以資料連結為維度重新整理血緣。
注:僅工程內「血緣分析」功能點可用,且登入帳號為超級管理者時,才支援使用「重置血緣」功能。
1)點選「重置血緣」按鈕,支援多選資料連結,如下圖所示:
2)血緣重置中,會遍歷使用該資料連結的任務;支援終止血緣重置任務。如下圖所示:
3)若重置成功,血緣自動進入重新整理狀態。
若血緣重置失敗,支援查看任務詳情。在彈窗中支援血緣重置失敗任務、成功任務、未遍歷任務。如下圖所示:
2.3 旁系血緣按鈕說明
查看血緣關係時,使用者可根據實際情況,決定是否開啟「旁系血緣」按鈕:
場景 | 說明 |
---|---|
關閉「旁系血緣」按鈕 | 根據該表向上或向下直接追溯,展示與該表相關的物件;如下圖所示: |
開啟「旁系血緣」按鈕 | 將展示整個鏈路上所有相關的物件: |
3. 範例
3.1 定時任務血緣
1)例如使用資料同步,SQL語句聯動兩張資料表,並將任務發佈至「生產模式」。如下圖所示:
2)然後在「資料管理」下找到定時任務中的一個資料表 DEMO_PRODUCT,點選「血緣分析」,然後勾選「旁系血緣」,即可看到定時任務使用的資料表 SQL 語句血緣關係,如下圖所示:
同時可以查看資料表的詳細資訊,如下圖所示:
點選資料同步或者其他任務節點,即可查看任務運作記錄以及一鍵到達任務節點,如下圖所示:
3.2 管道任務血緣

1)4.2.7.3 之前版本,管道任務的所有目標表都展示出來。
2)4.2.7.3 及之後版本,只會展示表 A 對應的目標表(僅會展示一一對應的表關係,是否開啟「旁系血緣」按鈕都為該邏輯)。
使用 DEMO_PRODUCT 建立一個管道任務,如下圖所示:
進入資料管理後,找到管道任務中的一個資料表 DEMO_PRODUCT,點選「血緣分析」,即可看到管道任務資料表的血緣,如下圖所示:
同時可以查看資料表的詳細資訊,如下圖所示:
點選管道任務,即可查看任務情況以及一鍵到達任務介面,如下圖所示:
3.3 資料服務血緣
使用 NES_SELLS 建立一個資料服務任務聯集線,如下圖所示:
進入資料管理後,找到資料服務任務中的一個資料表 NES_SELLS,點選「血緣分析」,即可看到資料服務任務資料表的血緣,如下圖所示:
點選API任務,即可查看任務運作記錄以及一鍵到達任務介面,如下圖所示:
4. 升級相容
1)如果升級後沒有顯示血緣可能有如下原因:
升級時任務中使用的資料連結連結失敗;
資料庫驅動版本過低。
2)使用者升級到 4.2.6.4 及之後版本後需注意: