血緣分析

  • 文檔創建者:Roxy
  • 編輯次數:14
  • 最近更新:Nikozhan 于 2025-06-27
  • 1. 概述

    1.1 版本

    FineDataLink版本
    功能變動
    4.1.11.1-
    4.2.0.1來源端為「SQL」配置項時,支援 Hive 資料源
    4.2.1.2
    來源端為「SQL」配置項時,支援 Greenplum 資料
    4.2.6.4

    新增「重置血緣」功能,支援以資料連結為維度重新整理血緣

    優化:

    • oracle 資料源解析支援模糊匹配大小寫表名

    • 新發布的任務中存在禁用節點,禁用節點的解析內容不展示在血緣檢視表中,歷史內容不做處理

    4.2.7.3
    • 來源端為「SQL」配置項時,適配更多資料源

    • 管道血緣顯示邏輯優化

    • INSERT 文法支援解析來源目標端


    1.2 應用場景

    1)根據表找相關任務&上下游表

    • IT 人員根據分析需求在資料庫中對某個表增加了欄位,需要快速找到跟這個表相關的任務進行 SQL 語句的調整。

    • 當前接手開發的 IT 人員需要明確知道資料庫表之間的上下游關係,但只有原開發人員最清楚這些邏輯,交接成本高。

    2)根據任務查看使用到的表

    IT 人員會把業務相關的資料放在一個定時任務中管理,使用到的表眾多,表與表經常混淆,在編輯任務的時候需要快捷查看到當前任務使用到的表,確定不會重複作業和便於後續管理。

    1.3 功能說明

    點選「資料管理>庫表管理」,選擇資料連結的某張表後,可查看資料表、API(資料服務)、定時任務節點、管道任務的血緣關係。如下圖所示:

    1.4 使用前提

    需要註冊「資料血緣」功能點。

    2. 血缘分析功能说明

    2.1 血緣分析支援範圍

    選擇配置項支援資料源支援功能範圍

    來源端為「選表」配置項

    支援所有資料源

    • DB表輸入、資料同步、參數指派中選表取數

    • 資料管道資料來源選表

    • 資料服務 API 任務的選表取數


    目標端為「目標表」配置項支援所有資料源
    • 定時任務「資料轉換>DB表匯出」、「資料同步>DB表匯出」

    • 資料管道資料選擇去向選表

    來源端為「SQL」配置項

    1)4.2.7.3 之前版本,僅支援Mysql、Oracle、SQL server、Postgre、Hive、Greenplum

    2)4.2.7.3 及之後版本,新增適配的資料源:db2、sqlite、Hsql、Informix、達夢、KingBase、TiDB、ClickHouse、PolarDB PostgreSQL、Presto、Gaussdb 200、Gbase8a、阿里雲MaxCompute(odps)

    • 定時任務的「SQL腳本」、「資料同步>DB表輸入」、「參數指派」SQL取數

    • 資料服務 API 任務的 SQL 取數

    • Hive 資料庫暫不支援 with as 語句

    不同資料源適配血緣分析功能時的特性說明:

    場景說明
    資料來源為 Oracle 資料源4.2.6.4 及之後版本,Oracle 資料源解析支援模糊匹配大小寫表名,查詢 SQL 語句中:
    • 加雙引號:庫表名區分大小寫,比如與資料庫中的實際名稱完全一致

    • 不加雙引號:庫表名不區分大小寫,會預設轉換為大寫進行匹配

    資料來源為 PostgreSQL 資料源資料來源為 PostgreSQL 資料庫時,select 語句中包含的欄位名不能為 type,否則血緣分析功能將無法正常使用
    insert into xxx  select * from文法

    1)在資料開發-SQL脚本中 insert into xxx  select * from文法暫不支援解析來源目標端,現在僅解析為引用關係

    範例:

    2)4.2.7.3 及之後版本:INSERT 文法支援解析來源目標端


    定時任務中存在禁用節點
    4.2.6.4 及之後版本,新發布的任務中存在禁用節點,禁用節點的解析內容不展示在血緣檢視表中,歷史內容不做處理
    DB匯出(交易)

    DB匯出(交易)中的前置 SQL 和後置 SQL 暫不解析,包含交易回滾產生的臨時表不解析在血緣中

    表名顯示

    表名都為原始名顯示,非 SQL 語句中 as 後的轉義名

    表分割槽

    若表分割槽,則展示主表,不展示分割槽表資訊

    檢視表&儲存程式

    • 檢視表:「選表」「SQL語句」支援解析該血緣關係

    • 儲存程式不提供解析表關係

    注:INSERT INTO ... SELECT 語句是 MySQL 中的一個組合語句,它允許從一個表中選擇資料,並將這些資料插入到另一個表中。在資料開發-SQL腳本中 insert into xxx  select 文法暫不支援解析來源目標端,現在僅解析為引用關系。

    2.2 血緣更新時機

    2.2.1 任務維度更新

    物件
    增、改刪除
    定時任務

    定時任務成功發佈到生產環境

    • 任務刪除,血緣關係自動刪除

    • 刪除實體不影響血緣,血緣不會被刪除

    管道任務

    管道任務每次啟動時,更新血緣關係

    任務刪除,血緣關係自動刪除
    API每次發佈成功更新血緣關係
    API下線、刪除,血緣關係自動刪除


    2.2.2 資料連結維度更新

    應用場景

    使用者前期升級時資料連結 A 連結失敗,升級後資料連結下的表就無血緣關係。若想更新血緣,需要重新發布任務,但不確定哪些任務用到了這個資料連結下的表。

    功能說明:

    4.2.6.4 及之後版本,增加「重置血緣」功能。若需要更新血緣,超級管理者支援以資料連結為維度重新整理血緣。

    注:僅工程內「血緣分析」功能點可用,且登入帳號為超級管理者時,才支援使用「重置血緣」功能。

    1)點選「重置血緣」按鈕,支援多選資料連結,如下圖所示:

    2)血緣重置中,會遍歷使用該資料連結的任務;支援終止血緣重置任務。如下圖所示:

    3)若重置成功,血緣自動進入重新整理狀態。

    若血緣重置失敗,支援查看任務詳情。在彈窗中支援血緣重置失敗任務、成功任務、未遍歷任務。如下圖所示:

    2.3 旁系血緣按鈕說明

    查看血緣關係時,使用者可根據實際情況,決定是否開啟「旁系血緣」按鈕:

    場景
    說明
    關閉「旁系血緣按鈕

    根據該表向上或向下直接追溯,展示與該表相關的物件;如下圖所示

    1750228244586242.png

    開啟「旁系血緣按鈕

    將展示整個鏈路上所有相關的物件

    1750228350930323.png

    3. 範例

    3.1 定時任務血緣

    1)例如使用資料同步,SQL語句聯動兩張資料表,並將任務發佈至「生產模式」。如下圖所示:

    2)然後在「資料管理」下找到定時任務中的一個資料表 DEMO_PRODUCT,點選「血緣分析」,然後勾選「旁系血緣」,即可看到定時任務使用的資料表 SQL 語句血緣關係,如下圖所示:

    同時可以查看資料表的詳細資訊,如下圖所示:

    點選資料同步或者其他任務節點,即可查看任務運作記錄以及一鍵到達任務節點,如下圖所示:

    3.2 管道任務血緣

    icon提示:
    表 A 為管道任務的來源端,點選表 A 的血緣查看:

    1)4.2.7.3 之前版本,管道任務的所有目標表都展示出來。

    2)4.2.7.3 及之後版本,只會展示表 A 對應的目標表(僅會展示一一對應的表關係,是否開啟「旁系血緣按鈕都為該邏輯)。

    使用 DEMO_PRODUCT 建立一個管道任務,如下圖所示:

    進入資料管理後,找到管道任務中的一個資料表 DEMO_PRODUCT,點選「血緣分析」,即可看到管道任務資料表的血緣,如下圖所示:

    同時可以查看資料表的詳細資訊,如下圖所示:

    點選管道任務,即可查看任務情況以及一鍵到達任務介面,如下圖所示:

    3.3 資料服務血緣

    使用 NES_SELLS 建立一個資料服務任務聯集線,如下圖所示:

    進入資料管理後,找到資料服務任務中的一個資料表 NES_SELLS,點選「血緣分析」,即可看到資料服務任務資料表的血緣,如下圖所示:

    點選API任務,即可查看任務運作記錄以及一鍵到達任務介面,如下圖所示:

    4. 升級相容

    1)如果升級後沒有顯示血緣可能有如下原因:

    • 升級時任務中使用的資料連結連結失敗;

    • 資料庫驅動版本過低。

    2)使用者升級到 4.2.6.4 及之後版本後需注意:

    • 若升級前未註冊「資料血緣」功能點,升級後註冊「資料血緣」功能點,需要點選「重置血緣」按鈕,重新整理血緣。

    • 若升級前使用血緣分析功能,升級後未註冊「資料血緣」功能點,後續若再註冊「資料血緣」功能點,需要點選「重置血緣」按鈕,重新整理血緣。

    5. 注意事項

    5.1 血緣檢查失效

    問題描述:

    定時任務中,資料同步到 MySQL 的表 a 中(任務運作過),資料中心中選中表 a ,點選血緣分析,內容為空白。

    原因分析:

    升級時業務資料庫出了問題,重新發布該定時任務即可。


    附件列表


    主題: 資料管理
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!