历史版本15 :血緣分析 返回文檔
編輯時間: 內容長度:图片数:目录数: 修改原因:

目錄:

1. 概述编辑

1.1 版本

FineDataLink版本
功能變動
4.1.11.1-
4.2.0.1來源端為「SQL」配置項時,支援 Hive 資料源
4.2.1.2
來源端為「SQL」配置項時,支援 Greenplum 資料
4.2.6.4

新增「重置血緣」功能,支援以資料連結為維度重新整理血緣

優化:

  • oracle 資料源解析支援模糊匹配大小寫表名

  • 新發布的任務中存在禁用節點,禁用節點的解析內容不展示在血緣檢視表中,歷史內容不做處理

4.2.7.3
  • 來源端為「SQL」配置項時,適配更多資料源

  • 管道血緣顯示邏輯優化

  • INSERT 文法支援解析來源目標端


1.2 應用場景

1)根據表找相關任務&上下游表

  • IT 人員根據分析需求在資料庫中對某個表增加了欄位,需要快速找到跟這個表相關的任務進行 SQL 語句的調整。

  • 當前接手開發的 IT 人員需要明確知道資料庫表之間的上下游關係,但只有原開發人員最清楚這些邏輯,交接成本高。

2)根據任務查看使用到的表

IT 人員會把業務相關的資料放在一個定時任務中管理,使用到的表眾多,表與表經常混淆,在編輯任務的時候需要快捷查看到當前任務使用到的表,確定不會重複作業和便於後續管理。

1.3 功能說明

點選「資料管理>庫表管理」,選擇資料連結的某張表後,可查看資料表、API(資料服務)、定時任務節點、管道任務的血緣關係。如下圖所示:

1.4 使用前提

需要註冊「資料血緣」功能點。

2. 血缘分析功能说明编辑

2.1 血緣分析支援範圍

選擇配置項支援資料源支援功能範圍

來源端為「選表」配置項

支援所有資料源

  • DB表輸入、資料同步、參數指派中選表取數

  • 資料管道資料來源選表

  • 資料服務 API 任務的選表取數


目標端為「目標表」配置項支援所有資料源
  • 定時任務「資料轉換>DB表匯出」、「資料同步>DB表匯出」

  • 資料管道資料選擇去向選表

來源端為「SQL」配置項

1)4.2.7.3 之前版本,僅支援Mysql、Oracle、SQL server、Postgre、Hive、Greenplum

2)4.2.7.3 及之後版本,新增適配的資料源:db2、sqlite、Hsql、Informix、達夢、KingBase、TiDB、ClickHouse、PolarDB PostgreSQL、Presto、Gaussdb 200、Gbase8a、阿里雲MaxCompute(odps)

  • 定時任務的「SQL腳本」、「資料同步>DB表輸入」、「參數指派」SQL取數

  • 資料服務 API 任務的 SQL 取數

  • Hive 資料庫暫不支援 with as 語句

不同資料源適配血緣分析功能時的特性說明:

場景說明
資料來源為 Oracle 資料源4.2.6.4 及之後版本,Oracle 資料源解析支援模糊匹配大小寫表名,查詢 SQL 語句中:
  • 加雙引號:庫表名區分大小寫,比如與資料庫中的實際名稱完全一致

  • 不加雙引號:庫表名不區分大小寫,會預設轉換為大寫進行匹配

資料來源為 PostgreSQL 資料源資料來源為 PostgreSQL 資料庫時,select 語句中包含的欄位名不能為 type,否則血緣分析功能將無法正常使用
insert into xxx  select * from文法

1)在資料開發-SQL脚本中 insert into xxx  select * from文法暫不支援解析來源目標端,現在僅解析為引用關係

範例:

2)4.2.7.3 及之後版本:INSERT 文法支援解析來源目標端


定時任務中存在禁用節點
4.2.6.4 及之後版本,新發布的任務中存在禁用節點,禁用節點的解析內容不展示在血緣檢視表中,歷史內容不做處理
DB匯出(交易)

DB匯出(交易)中的前置 SQL 和後置 SQL 暫不解析,包含交易回滾產生的臨時表不解析在血緣中

表名顯示

表名都為原始名顯示,非 SQL 語句中 as 後的轉義名

表分割槽

若表分割槽,則展示主表,不展示分割槽表資訊

檢視表&儲存程式

  • 檢視表:「選表」「SQL語句」支援解析該血緣關係

  • 儲存程式不提供解析表關係

注:INSERT INTO ... SELECT 語句是 MySQL 中的一個組合語句,它允許從一個表中選擇資料,並將這些資料插入到另一個表中。在資料開發-SQL腳本中 insert into xxx  select 文法暫不支援解析來源目標端,現在僅解析為引用關系。

2.2 血緣更新時機

2.2.1 任務維度更新

物件
增、改刪除
定時任務

定時任務成功發佈到生產環境

  • 任務刪除,血緣關係自動刪除

  • 刪除實體不影響血緣,血緣不會被刪除

管道任務

管道任務每次啟動時,更新血緣關係

任務刪除,血緣關係自動刪除
API每次發佈成功更新血緣關係
API下線、刪除,血緣關係自動刪除


2.2.2 資料連結維度更新

應用場景

使用者前期升級時資料連結 A 連結失敗,升級後資料連結下的表就無血緣關係。若想更新血緣,需要重新發布任務,但不確定哪些任務用到了這個資料連結下的表。

功能說明:

4.2.6.4 及之後版本,增加「重置血緣」功能。若需要更新血緣,超級管理者支援以資料連結為維度重新整理血緣。

注:僅工程內「血緣分析」功能點可用,且登入帳號為超級管理者時,才支援使用「重置血緣」功能。

1)點選「重置血緣」按鈕,支援多選資料連結,如下圖所示:

2)血緣重置中,會遍歷使用該資料連結的任務;支援終止血緣重置任務。如下圖所示:

3)若重置成功,血緣自動進入重新整理狀態。

若血緣重置失敗,支援查看任務詳情。在彈窗中支援血緣重置失敗任務、成功任務、未遍歷任務。如下圖所示:

2.3 旁系血緣按鈕說明

查看血緣關係時,使用者可根據實際情況,決定是否開啟「旁系血緣」按鈕:

場景
說明
關閉「旁系血緣按鈕

根據該表向上或向下直接追溯,展示與該表相關的物件;如下圖所示

1750228244586242.png

開啟「旁系血緣按鈕

將展示整個鏈路上所有相關的物件

1750228350930323.png

3. 範例编辑

3.1 定時任務血緣

1)例如使用資料同步,SQL語句聯動兩張資料表,並將任務發佈至「生產模式」。如下圖所示:

2)然後在「資料管理」下找到定時任務中的一個資料表 DEMO_PRODUCT,點選「血緣分析」,然後勾選「旁系血緣」,即可看到定時任務使用的資料表 SQL 語句血緣關係,如下圖所示:

同時可以查看資料表的詳細資訊,如下圖所示:

點選資料同步或者其他任務節點,即可查看任務運作記錄以及一鍵到達任務節點,如下圖所示:

3.2 管道任務血緣

icon提示:
表 A 為管道任務的來源端,點選表 A 的血緣查看:

1)4.2.7.3 之前版本,管道任務的所有目標表都展示出來。

2)4.2.7.3 及之後版本,只會展示表 A 對應的目標表(僅會展示一一對應的表關係,是否開啟「旁系血緣按鈕都為該邏輯)。

使用 DEMO_PRODUCT 建立一個管道任務,如下圖所示:

進入資料管理後,找到管道任務中的一個資料表 DEMO_PRODUCT,點選「血緣分析」,即可看到管道任務資料表的血緣,如下圖所示:

同時可以查看資料表的詳細資訊,如下圖所示:

點選管道任務,即可查看任務情況以及一鍵到達任務介面,如下圖所示:

3.3 資料服務血緣

使用 NES_SELLS 建立一個資料服務任務聯集線,如下圖所示:

進入資料管理後,找到資料服務任務中的一個資料表 NES_SELLS,點選「血緣分析」,即可看到資料服務任務資料表的血緣,如下圖所示:

點選API任務,即可查看任務運作記錄以及一鍵到達任務介面,如下圖所示:

4. 升級相容编辑

1)如果升級後沒有顯示血緣可能有如下原因:

  • 升級時任務中使用的資料連結連結失敗;

  • 資料庫驅動版本過低。

2)使用者升級到 4.2.6.4 及之後版本後需注意:

  • 若升級前未註冊「資料血緣」功能點,升級後註冊「資料血緣」功能點,需要點選「重置血緣」按鈕,重新整理血緣。

  • 若升級前使用血緣分析功能,升級後未註冊「資料血緣」功能點,後續若再註冊「資料血緣」功能點,需要點選「重置血緣」按鈕,重新整理血緣。

5. 注意事項编辑

5.1 血緣檢查失效

問題描述:

定時任務中,資料同步到 MySQL 的表 a 中(任務運作過),資料中心中選中表 a ,點選血緣分析,內容為空白。

原因分析:

升級時業務資料庫出了問題,重新發布該定時任務即可。