某些業務系統中或者數倉中的資料,可能存在一些不符合要求的情況,使用者期望能夠定義一些規則,對其進行定期檢查,檢查完畢後,匯出檢查的結果報表並進行通知。
在檢查任務中,支援自訂配置檢查規則,對資料品質進行定期檢查。
1)註冊「資料檢查」功能點,詳情請參見:功能點限制
2)有「資料檢查」功能的使用權限,詳情請參見:資料檢查使用權限
3)需要檢查任務執行資源配置;點選「管理系統>智慧維運>負載管理>負載分配」:
無需設定「記憶體分配」。
需要設定「併發控制」控制併發數:新工程部署、老工程升級上去,預設為 0 併發,使用者需要手動調整才可使用(一個資料檢查任務佔用一個併發)。
1)可選擇一張表或者多張表
配置任務自訂規則/全局自訂規則時,僅支援新增 1 張表
2)支援為所有已選的表,配置資料範圍;使用者可為每張所選表透過寫 WHERE 語句的形式指定篩選條件
1)定義如何檢查資料(单單表檢查:表級、欄位級;兩表比對)
FineDataLink 提供了豐富的內建範本,使用者也可以自訂範本來滿足業務需要
2)一個資料檢查任務中可新增多個檢查規則
3)5.0.7.3 及之後版本,支援配置規則強度
強規則檢查不透過,將判定表檢查不透過。例如:任務中有強、弱規則,有一個強規則檢查不透過,即最終檢查不透過
弱規則檢查不透過,不影響表最終檢查結果。例如:任務中都為弱規則且都檢查不透過,但最終檢查透過
1)支援設定檢查任務的執行頻率
2)支援將資料檢查任務的結果以平台、郵件、簡訊、用戶端(釘釘、飛書、企業微信)的形式推給使用者
可查看資料檢查任務的運作情況/日誌/表資料、編輯資料檢查任務、終止資料檢查任務實體等
單個資料檢查任務維運和管理請參見:單個資料檢查任務維運和管理
批量維運資料檢查任務請參見:檢查任務-運作記錄、檢查任務-任務管理、檢查任務-問題清單
若使用者從 5.0.3.3 之前版本升級到 5.0.3.3 及之後版本,升級後,配置映射如下:
規則類型:表級
檢查物件:總列數
規則類型:平台內建規則
內建規則類型:單表總列數校驗
檢查物件:過濾行統計
規則類型:自訂規則
計算方式:列級篩選
符合條件行明細SQL:填入原配置的列範圍部分寫的SQL
規則類型:欄位級
檢查物件:欄位值計算結果
計算結果:自訂SQL
計算方式:聚合統計
用自訂SQL定義計算:勾選
自訂SQL:填入自訂SQL內容
計算結果:其他(比如最早時間、最晚時間、最大值、最小值等)
使用自訂SQL定義計算:不勾選
統計行範圍:留空
計算方式&計算欄位:按原邏輯填入(多表多欄位僅保留第一個)
檢查物件:欄位行統計內容
列範圍:重複行
內建規則類型:欄位值唯一性校驗
多表多欄位可照常選中
列範圍:自訂SQL
符合條件列明細SQL:填入原配置的列範圍部分寫的SQL(多表多欄位僅保留第一個)
列範圍:正則匹配
內建規則類型:欄位格式校驗
正則運算式:填入原配置的正則運算式
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙