①資料檢查任務概述

  • 文檔創建者:Laurenwy
  • 編輯次數:3
  • 最近更新:shuning 于 2026-07-20
  • icon提示:
    產品註冊版本為「v5.0」時,才能使用資料檢查任務功能;如需試用或者瞭解詳細資訊,請聯絡技術支援(技術支援聯絡方式:帆軟官方服務渠道使用説明)。


    1. 概述

    1.1 應用場景

    某些業務系統中或者數倉中的資料,可能存在一些不符合要求的情況,使用者期望能夠定義一些規則,對其進行定期檢查,檢查完畢後,匯出檢查的結果報表並進行通知。

    1.2 功能簡介

    在檢查任務中,支援自訂配置檢查規則,對資料品質進行定期檢查。


    2. 使用限制

    FineDataLink 版本工程節點
    5.0.13.1 之前版本單機
    5.0.13.1 及之後版本單機、叢集

    3. 前提條件

    1)註冊「資料檢查」功能點,詳情請參見:功能點限制

    2)有「資料檢查」功能的使用權限,詳情請參見:資料檢查使用權限

    3)需要檢查任務執行資源配置;點選管理系統>智慧維運>負載管理>負載分配」:

    • 無需設定「記憶體分配」。

    • 需要設定「併發控制」控制併發數:新工程部署、老工程升級上去,預設為 0 併發,使用者需要手動調整才可使用(一個資料檢查任務佔用一個併發)。

    4. 能力說明

    1772437507364924_fixed.png

    能力
    說明
    資料源資料檢查任務支援的資料源:FineDataLink支援的資料源
    任務配置
    要素
    說明
    檢查物件

    1)可選擇一張表或者多張表 

    配置任務自訂規則/全局自訂規則時,僅支援新增 1 張表

    2)支援為所有已選的表,配置資料範圍;使用者可為每張所選表透過寫 WHERE 語句的形式指定篩選條件

    檢查規則

    1)定義如何檢查資料(單表檢查:表級、欄位級;兩表比對

    FineDataLink 提供了豐富的內建範本,使用者也可以自訂範本來滿足業務需要 

    2)一個資料檢查任務中可新增多個檢查規則 

    3)5.0.7.3 及之後版本,支援配置規則強度 

    • 強規則檢查不透過,將判定表檢查不透過。例如:任務中有強、弱規則,有一個強規則檢查不透過,即最終檢查不透過

    • 弱規則檢查不透過,不影響表最終檢查結果。例如:任務中都為弱規則且都檢查不透過,但最終檢查透過

    調度和警報

    1)支援設定檢查任務的執行頻率

    2)支援將資料檢查任務的結果以平台、郵件、簡訊、用戶端(釘釘、飛書、企業微信)的形式推給使用者


    任務維運

    可查看資料檢查任務的運作情況/日誌/表資料、編輯資料檢查任務、終止資料檢查任務實體等 

    其他5.0.3.3 及之後版本,支援在定時任務中 呼叫資料檢查任務,若檢查不透過,可通知給對應負責人

    5. 相容說明

    若使用者從 5.0.3.3 之前版本升級到 5.0.3.3 及之後版本,升級後,配置映射如下:

    原配置
    新配置

    規則類型:表級

    檢查物件:總列數

    規則類型:平台內建規則

    內建規則類型:單表總列數校驗

    規則類型:表級

    檢查物件:過濾行統計

    規則類型:自訂規則

    計算方式:列級篩選

    符合條件行明細SQL:填入原配置的列範圍部分寫的SQL

    規則類型:欄位級

    檢查物件:欄位值計算結果

    計算結果:自訂SQL

    規則類型:自訂規則

    計算方式:聚合統計

    用自訂SQL定義計算:勾選

    自訂SQL:填入自訂SQL內容

    規則類型:欄位級

    檢查物件:欄位值計算結果

    計算結果:其他(比如最早時間、最晚時間、最大值、最小值等)

    規則類型:自訂規則

    計算方式:聚合統計

    使用自訂SQL定義計算:不勾選

    統計行範圍:留空

    計算方式&計算欄位:按原邏輯填入(多表多欄位僅保留第一個)

    規則類型:欄位級

    檢查物件:欄位行統計內容

    列範圍:重複行

    規則類型:平台內建規則

    內建規則類型:欄位值唯一性校驗

    多表多欄位可照常選中

    規則類型:欄位級

    檢查物件:欄位行統計內容

    列範圍:自訂SQL

    規則類型:自訂規則

    計算方式:列級篩選

    符合條件列明細SQL:填入原配置的列範圍部分寫的SQL(多表多欄位僅保留第一個)

    規則類型:欄位級

    檢查物件:欄位行統計內容

    列範圍:正則匹配

    規則類型:平台內建規則

    內建規則類型:欄位格式校驗

    正則運算式:填入原配置的正則運算式

    多表多欄位可照常選中


    附件列表


    主題: 資料管理
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    中文(繁體)

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    獲取幫助
    線上支援
    獲取專業技術支援,快速幫助您解決問題
    工作日9:00-12:00,13:30-17:30在线
    頁面反饋
    針對當前網頁的建議、問題反饋
    售前咨詢
    業務咨詢
    電話:0933-790886或 0989-092892
    郵箱:taiwan@fanruan.com
    頁面反饋
    *問題分類
    不能為空
    問題描述
    0/1000
    不能為空

    反馈已提交

    网络繁忙