新增「重置血緣」功能,支援以資料連結為維度重新整理血緣
優化:
oracle 資料源解析支援模糊匹配大小寫表名
新發布的任務中存在禁用節點,禁用節點的解析內容不展示在血緣檢視表中,曆史內容不做處理
來源端為「SQL」配置項時,適配更多資料源
管道血緣顯示邏輯優化
INSERT 文法支援解析來源目標端
1)根據表找相關任務&上下游表
IT 人員根據分析需求在資料庫中對某個表增加了欄位,需要快速找到跟這個表相關的任務進行 SQL 語句的調整。
當前接手開發的 IT 人員需要明確知道資料庫表之間的上下游關係,但只有原開發人員最清楚這些邏輯,交接成本高。
2)根據任務查看使用到的表
IT 人員會把業務相關的資料放在一個定時任務中管理,使用到的表眾多,表與表經常混淆,在編輯任務的時候需要快捷查看到當前任務使用到的表,確定不會重複作業和便於後續管理。
點選「資料管理>庫表管理」,選擇資料連結的某張表後,可查看資料表、API(資料服務)、定時任務節點、管道任務的血緣關係。如下圖所示:
需要註冊「資料血緣」功能點。
來源端為「選表」配置項
支援所有資料源
DB表輸入、資料同步、參數指派中選表取數
資料管道資料來源選表
資料服務 API 任務的選表取數
定時任務「資料轉換>DB表匯出」、「資料同步>DB表匯出」
資料管道資料選擇去向選表
定時任務的「SQL腳本」、資料同步、「資料轉換>DB表輸入」、「參數指派」SQL取數
資料服務 API 任務的 SQL 取數
Hive 資料庫暫不支援 with as
不同資料源適配血緣分析功能時的特性說明:
加雙引號:庫表名區分大小寫,比如與資料庫中的實際名稱完全一致
不加雙引號:庫表名不區分大小寫,會預設轉換為大寫進行匹配
1)在資料開發-SQL腳本中 insert into xxx select * from文法暫不支援解析來源目標端,現在僅解析為引用關係
範例:
DB匯出(交易)中的前置 SQL 和後置 SQL 暫不解析,包含交易回滾產生的臨時表不解析在血緣中
表名都為原始名顯示,非 SQL 語句中 as 後的轉義名
若表分割槽,則展示主表,不展示分割槽表資訊
檢視表&儲存程式
檢視表:「選表」「SQL語句」支援解析該血緣關係
儲存程式不提供解析表關係
注:INSERT INTO ... SELECT 語句是 MySQL 中的一個組合語句,它允許從一個表中選擇資料,並將這些資料插入到另一個表中。在資料開發-SQL腳本中 insert into xxx select 文法暫不支援解析來源目標端,現在僅解析為引用關系。
定時任務成功發佈到生產環境
任務刪除,血緣關係自動刪除
刪除實體不影響血緣,血緣不會被刪除
管道任務每次啟動時,更新血緣關係
應用場景:
使用者前期升級時資料連結 A 連結失敗,升級後資料連結下的表就無血緣關係。若想更新血緣,需要重新發布任務,但不確定哪些任務用到了這個資料連結下的表。
功能說明:
4.2.6.4 及之後版本,增加「重置血緣」功能。若需要更新血緣,超級管理者支援以資料連結為維度重新整理血緣。
注:僅工程內「血緣分析」功能點可用,且登入帳號為超級管理者時,才支援使用「重置血緣」功能。
1)點選「重置血緣」按鈕,支援多選資料連結,如下圖所示:
2)血緣重置中,會遍歷使用該資料連結的任務;支援終止血緣重置任務。如下圖所示:
3)若重置成功,血緣自動進入重新整理狀態。
若血緣重置失敗,支援查看任務詳情。在彈窗中支援血緣重置失敗任務、成功任務、未遍歷任務。如下圖所示:
查看血緣關係時,使用者可根據實際情況,決定是否開啟「旁系血緣」按鈕:
根據該表向上或向下直接追溯,展示與該表相關的物件;如下圖所示:
將展示整個鏈路上所有相關的物件:
1)例如使用資料同步,SQL語句聯動兩張資料表,並將任務發佈至「生產模式」。如下圖所示:
2)然後在「資料管理」下找到定時任務中的一個資料表 DEMO_PRODUCT,點選「血緣分析」,然後勾選「旁系血緣」,即可看到定時任務使用的資料表 SQL 語句血緣關係,如下圖所示:
同時可以查看資料表的詳細資訊,如下圖所示:
點選資料同步或者其他任務節點,即可查看任務運作記錄以及一鍵到達任務節點,如下圖所示:
1)4.2.7.3 之前版本,管道任務的所有目標表都展示出來。
2)4.2.7.3 及之後版本,只會展示表 A 對應的目標表(僅會展示一一對應的表關係,是否開啟「旁系血緣」按鈕都為該邏輯)。
使用 DEMO_PRODUCT 建立一個管道任務,如下圖所示:
進入資料管理後,找到管道任務中的一個資料表 DEMO_PRODUCT,點選「血緣分析」,即可看到管道任務資料表的血緣,如下圖所示:
點選管道任務,即可查看任務情況以及一鍵到達任務介面,如下圖所示:
使用 NES_SELLS 建立一個資料服務任務聯集線,如下圖所示:
進入資料管理後,找到資料服務任務中的一個資料表 NES_SELLS,點選「血緣分析」,即可看到資料服務任務資料表的血緣,如下圖所示:
點選API任務,即可查看任務運作記錄以及一鍵到達任務介面,如下圖所示:
1)如果升級後沒有顯示血緣可能有如下原因:
升級時任務中使用的資料連結連結失敗;
資料庫驅動版本過低。
2)使用者升級到 4.2.6.4 及之後版本後需注意:
若升級前未註冊「資料血緣」功能點,升級後註冊「資料血緣」功能點,需要點選「重置血緣」按鈕,重新整理血緣。
若升級前使用血緣分析功能,升級後未註冊「資料血緣」功能點,後續若再註冊「資料血緣」功能點,需要點選「重置血緣」按鈕,重新整理血緣。
問題描述:
定時任務中,資料同步到 MySQL 的表 a 中(任務運作過),「資料中心」中選中表 a ,點選「血緣分析」,內容為空白。
原因分析:
升級時業務資料庫出了問題,重新發布該定時任務即可。
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙