历史版本14 :血緣分析 返回文檔
編輯時間: 內容長度:图片数:目录数: 修改原因:

目錄:

1. 概述编辑

1.1 版本

FineDataLink版本
功能變動
4.1.11.1-
4.2.0.1來源端為「SQL」配置項時,支援 Hive 資料源
4.2.1.2
來源端為「SQL」配置項時,支援 Greenplum 資料
4.2.6.4

新增「重置血緣」功能,支援以資料連結為維度重新整理血緣

優化:

  • oracle 資料源解析支援模糊匹配大小寫表名

  • 新發布的任務中存在禁用節點,禁用節點的解析內容不展示在血緣檢視表中,歷史內容不做處理


1.2 應用場景

使用者希望根據資料表尋找對應相關任務以及它的上下遊表,例如當前接手開發的 IT 人員需要明確知道資料庫表之間的上下遊關系,希望能直覺看到表關系。

1.3 功能說明

使用者可以在定時任務&管道任務&資料服務任務中查看資料表、API(資料服務)、定時任務節點、管道任務的血緣關系。


1.4 使用前提

需要註冊「資料血緣」功能點。

1.5 升級相容

1)如果升級後沒有顯示血緣可能有如下原因:

  • 升級時任務中使用的資料連結連結失敗;

  • 資料庫驅動版本過低。

2)使用者升級到 4.2.6.4 及之後版本後需注意:

  • 若升級前未註冊「資料血緣」功能點,升級後註冊「資料血緣」功能點,需要點選「重置血緣」按鈕,重新整理血緣。

  • 若升級前使用血緣分析功能,升級後未註冊「資料血緣」功能點,後續若再註冊「資料血緣」功能點,需要點選「重置血緣」按鈕,重新整理血緣。

2. 血緣分析支援範圍编辑

選擇配置項支援資料源支援功能範圍

來源端為「選表」配置項

支援所有資料源

  • DB表輸入、資料同步、參數指派中選表取數

  • 資料管道資料來源選表

  • 資料服務 API 任務的選表取數


目標端為「目標表」配置項支援所有資料源
  • 定時任務「資料轉換>DB表匯出」、「資料同步>DB表匯出」

  • 資料管道資料選擇去向選表

來源端為「SQL」配置項僅支援 Mysql、Oracle、SQL server、Postgre、Hive、Greenplum、InterSystems IRIS
  • 定時任務的「SQL腳本」、「資料同步>DB表輸入」、「參數指派」SQL取數

  • 資料服務 API 任務的 SQL 取數

  • Hive 資料庫暫不支援 with as 語句

注:INSERT INTO ... SELECT 語句是 MySQL 中的一個組合語句,它允許從一個表中選擇資料,並將這些資料插入到另一個表中。在資料開發-SQL腳本中 insert into xxx  select 文法暫不支援解析來源目標端,現在僅解析為引用關系。

3. 定時任務血緣编辑

例如使用資料同步,SQL語句聯動兩張資料表,並將任務發布至「生産模式」,如下圖所示:

然後在「資料管理」下找到定時任務中的一個資料表 DEMO_PRODUCT,點選「血緣分析」,然後勾選「旁系血緣」,即可看到定時任務使用的資料表 SQL 語句血緣關系,如下圖所示:

注:展示整個鏈路上所有相關的物件。

同時可以查看資料表的詳細資訊,如下圖所示:

點選資料同步或者其他任務節點,即可查看任務運作記錄以及一鍵到達任務節點,如下圖所示:

4. 管道任務血緣编辑

使用 DEMO_PRODUCT 建立一個管道任務,如下圖所示:

進入資料管理後,找到管道任務中的一個資料表 DEMO_PRODUCT,點選「血緣分析」,即可看到管道任務資料表的血緣,如下圖所示:

同時可以查看資料表的詳細資訊,如下圖所示:

點選管道任務,即可查看任務情況以及一鍵到達任務介面,如下圖所示:

5. 資料服務血緣编辑

使用 NES_SELLS 建立一個資料服務任務聯集線,如下圖所示:

進入資料管理後,找到資料服務任務中的一個資料表 NES_SELLS,點選「血緣分析」,即可看到資料服務任務資料表的血緣,如下圖所示:

點選API任務,即可查看任務運作記錄以及一鍵到達任務介面,如下圖所示:

6. 重置血緣编辑

應用場景:使用者前期升級時資料連結 A 連結失敗,升級後資料連結下的表就無血緣關係。若想更新血緣,需要重新發布任務,但不確定哪些任務用到了這個資料連結下的表。

4.2.6.4 及之後版本,增加「重置血緣」功能。若需要更新血緣,超級管理者支援以資料連結為維度重新整理血緣。

注:僅工程內「血緣分析」功能點可用,且登入帳號為超級管理者時,才支援使用「重置血緣」功能。

1)點選「重置血緣」按鈕,支援多選資料連結,如下圖所示:

2)血緣重置中,會遍歷使用該資料連結的任務;支援終止血緣重置任務。如下圖所示:

3)若重置成功,血緣自動進入重新整理狀態。

若血緣重置失敗,支援查看任務詳情。在彈窗中支援血緣重置失敗任務、成功任務、未遍歷任務。如下圖所示:

7. 注意事項编辑

7.1 功能使用相關注意事項

  • DB输出(事务)中的前置 SQL 和後置 SQL 暫不解析,包含交易回滾産生的臨時表不解析在血緣中。

  • 表名都為原始名顯示,非 SQL 語句中 as 後的轉義名。

  • 若表分割槽,則展示主表,不展示分割槽表資訊。

  • 檢視表&儲存程式:

檢視表:「選表」「SQL語句」支援解析該血緣關系。

儲存程式不提供解析表關系。

7.2 血緣檢查失效

問題描述:

定時任務中,資料同步到 MySQL 的表 a 中(任務運作過),資料中心中選中表 a ,點選血緣分析,內容為空白。

原因分析:

升級時業務資料庫出了問題,重新發布該定時任務即可。