LogDB 表結構

  • 文檔創建者:Suki陈
  • 編輯次數:18
  • 最近更新:Jack.Li 于 2025-07-14
  • 1. 概述

    1.1 版本

    FineDataLink版本
    功能變動
    4.1.7.3fine_dp_work_exec_record表遷移到logdb中,表名不變,後續資料均寫入遷移後資料表。升級後會將歷史運作記錄遷移到LogDB中。
    4.1.11.2fine_intelli_focus_point 表中,id 值新增fdl_sched_task_plan_relation、fdl_sched_plan_schedule;id 值為 fdl_sched_task_info 時,新增欄位:timeoutConfig、retryConfig、errorLimitConfig、NoticeStore、WorkPriorityStore

    1.2 功能說明

    本文將簡單介紹 LogDB 資料庫中各個資料表和表欄位的含義。

    2. 平台相關

    平台相關的 LogDB 資料表及表欄位請參見:LogDB 表結構

    3. FDL 相關:業務表

    3.1 資料管道

    3.1.1 fine_pipeline_sync_information

    歷史同步資料表。

    欄位
    說明
    uuidUUID
    time時間戳
    taskId任務ID
    sourceTableId源表ID
    readInsertNum來源端插入行數
    readUpdateNum來源端更新行數
    readDeleteNum來源端刪除行數
    writeInsertNum目標端插入行數
    writeUpdateNum目標端更新行數
    writeDeleteNum目標段刪除行數
    writeFaildNum目標端寫入失敗行數

    3.1.2 fine_pipeline_log

    管道日誌表。

    欄位
    說明
    uuidUUID
    time時間戳
    taskId任務ID
    sourceTableId源表ID
    logType

    日誌分類資訊

    • 0-任務關鍵節點;2-資料寫入;3-傳輸佇列;4-資料讀取

    • 5-DDL擷取;6-DDL應用;7-髒資料記錄;8- 髒資料處理

    • 9-重新同步;10-心跳檢查

    logLevel日誌等級:1-INFO;2-WARN;3-ERROR;8-BASIC
    logClass日誌分類:0-表級別;1-任務級別
    desc日誌描述
    detail日誌詳情

    3.2 資料服務

    3.2.1 fine_record_fdl_dataservice_monitor_info

    資料服務呼叫記錄表。

    欄位
    含義
    uuid呼叫記錄ID
    time呼叫時間
    apiUidAPI的ID
    apiNameAPI名稱
    apiUrlAPI相對路徑
    apiFolderAPI所在資料夾
    apiGroupUidAPI應用ID
    apiGroupNameAPI應用名稱
    requestId請求ID
    requestIp請求IP
    requestMethod請求方法
    requestHandleTime請求處理時刻
    requestSize請求體大小
    statusCode狀態碼
    responseSize回應體大小
    responseDataRowCount回應行數
    serviceLatency服務耗時
    dataProcessLatency資料處理耗時
    errorMessage錯誤資訊
    exception錯誤詳情

    3.3 資料開發

    3.3.1 fine_dp_work_exec_record

    歷史運作記錄表,新的運作記錄直接進行插入。

    4.1.7.3 以及之後的版本,從 FineDB 遷移到 LogDB 中,表名不變。

    注:定時任務每執行一次,都會生成一條執行記錄。

    欄位
    類型說明
    id
    varchar主鍵欄位uuid,實體id
    dirtyDataNumbigint髒資料條數
    finishTimebigint任務完成時間
    lastModifiedTimebigint最近修改時間
    pathvarchar運作實體統計資訊和任務快照儲存路徑。值範例:dpworks/record/2024-03-13/04c51446-0053-48f3-b507-bad1bdf46592.log
    sourceExecuteIdvarchar被重試的實體id,重試時有值,否則為null
    startTimebigint任務開始時間
    taskIdvarchar任務id
    taskStatus  varchar任務運作狀態,包括初始狀態(INITIAL)、構建失敗(BUILD_FAIL)、佇列中(QUEUING)、運作中(RUNNING)、任務成功(SUCCESS)、任務執行報錯(ERROR)、任務失效(INVALID)、任務中斷(INTERRUPT)
    triggerByvarchar觸發者,手動觸發為帳號;調度觸發則為調度計劃id
    triggerMethodvarchar任務觸發類型,包括定時觸發(FIX_TIME)、手動觸發(MANUAL)、手動重試(MANUAL_RETRY)、時間觸發(EVENT)
    triggerTime  bigint觸發時間

    4. FDL 相關:埋點表

    表間關係如下所示:

    下圖中黃色欄位,為 fine_intelli_focus_point 表中,body 欄位解析後得到的欄位。

    1712567956777490.png

    1712566285176289.png

    4.1 fine_intelli_focus_point

    功能埋點主表。

    主要欄位介紹如下表所示:

    欄位
    類型說明
    appId

    varchar

    工程ID
    yearMonthvarchar埋點年月(YYYYMM)
    dayTimetimestamp埋點日期(年月日)
    timetimestamp埋點時間(年月日時分秒)
    ingestTimevarchar匯入到雲端的時間
    frFullVersionvarcharFR版本資訊
    biFullVersionvarcharBI版本資訊
    cloudVersionvarchar雲端健檢分析插件版本資訊
    bodyjson根據 id 值的不同,代表不同模組資訊;解析後,包含多個欄位
    idvarchar不同 id 值,代表不同模組資訊

    根據 id 值的不同,代表不同模組資訊。詳情見下表說明:

    id 值
    含義body 欄位解析後包含欄位
    fdl_global_infoFDL全局globalInfo:代表FDL版本資訊
    fdl_sched_task_info定時任務的任務元資料資訊,包含任務屬性值
    欄位
    類型含義
    taskIdvarchar定時任務ID
    taskNamevarchar定時任務名稱
    taskTypevarchar定時任務種類
    attributejson定時任務其他配置,值為 JSON 物件
    timeoutConfig(4.1.11.2 版本新增欄位)json

    任務控制>故障容許度機制>逾時限制配置

    範例:

    "timeoutConfig": { 

            "hour": 1,

            "minute": 0,

            "enabled": true  //是否開啟:true 為開啟,fasle 為未開啟

        }

    retryConfig(4.1.11.2 版本新增欄位)json

    任務控制>故障容許度機制>失敗重試配置

    範例:

    "retryConfig" :{ 

            "max": 3,  //重跑次數

            "delayMinute": 2,  //間隔時間

            "enabled": true //是否開啟:true 為開啟,fasle 為未開啟

        },

    errorLimitConfig(4.1.11.2 版本新增欄位)integer

    任務控制>故障容許度機制>髒資料容忍配置

    若未設定,則置0

    NoticeStore(4.1.11.2 版本新增欄位)json

    任務控制>結果通知配

    範例:

    "NoticeStore":{

            "notification": true, //是否開啟,:true 為開啟,fasle 為未開啟        

            "noticeConfig": ["notifyInDetail"]  ,//結果通知,若勾選則記錄值,notify:任務異常通知、任務失敗提醒,預設勾選;notifyInDetail:具體報錯資訊;notifyDirtyData: 髒資料通知;notifyDirtyDataInDetail: 髒資料匯總資訊;notifyDDLChangeEvent: 源表結構變化通知

            "userGroup": true, //平台使用者組是否配置,true 為配置,fasle 為未配置

            "noticeChannels":["sms"],//通知渠道值為JSON陣列,sms:簡訊;platform:平台;email:郵件;Enterprise WeChat app push:企業微信應用推播;Enterprise WeChat robot:企業微信群機器人;Dingtalk app push:釘釘應用推播;Dingtalk group bot:釘釘群機器人;Feishu Push:飛書應用推播;Feishu Group Robot:飛書群機器人

    }

    WorkPriorityStore(4.1.11.2 版本新增欄位)json

    任務控制>任務屬性配

    範例:

    "WorkPriorityStore":{ 

        "taskPriority": 2,  //任務優先。最低:-2;低:-1;中:0;高:1;最高:2

        "customLogLevel": true, //日誌等級是否開啟,true 為開啟,fasle 為未開啟

        "logLevel": "ERROR" //日誌級別:包括ERROR、WARN、INFO

    }

    fdl_sched_plan_schedule(4.1.11.2 版本新增欄位)記錄FDL定時任務調度計劃配置資訊
    欄位
    類型含義
    plan_idBIGINT調度計劃ID
    plan_namevarchar調度計劃名稱
    schedule_typevarchar

    調度類型

    • time:排程管理

    • event:事件調度

    plan_typevarchar

    計劃類型

    • Single:單任務計劃

    • Batch:批量計劃

    若為事件調度預設值都為 Batch

    schedule_detailjson
    範例

    若為排程管理:

    "schedule_detail_time":{ 

       "task_quantity":1, //計劃任務數

       "schedule_status": "open", //調度狀態,open :開啟;close :未開啟;ended:已結束

       "frequency":1, //調度的執行頻率配置,0:未開啟
    1:只執行一次;2:簡單重複執行;3: 明細頻率設定;
    4:運算式設定

       "calendar": true,//是否引用調度日曆,true 為引用,fasle 為未引用

    }


    若為事件調度:

    "schedule_detail_event":[

    {

        "group_name":"分組名稱1",//事件調度分組名稱

        "group_task_count":4,//當前分組內的任務數量

        "judgment_type":"regular",//regular:定時判斷;immediate:實時判斷

        "judgment_detail":{//條件內容

             "limit_count":2,

             "time_unit":weeks,//值為weeks:週;days:天;hours:小時;minutes:分鐘

             "type":"success",//值為success:成功後執行;unconditional:無條件執行,若為定時判斷,值固定為success
           } 

          "repeat_judgment": true,//觸發當前任務組執行的上游記錄,是否不再參與條件的判斷,true 為勾選,fasle 為未勾選

    }

    {

      "group_name":"分組名稱2",//事件調度分組名稱

       ...
    }

    ...

    ]

    additionalPropertiesjson暫無含義
    fdl_sched_task_plan_relation(4.1.11.2 版本新增欄位)記錄FDL定時任務與調度計劃的關係
    欄位
    類型含義
    taskIdBIGINT定時任務ID
    plan_idBIGINT調度計劃ID
    additional_propertiesjson暫無含義
    fdl_sched_node_info定時任務的步驟流節點資訊
    欄位
    類型含義
    taskIdvarchar定時任務ID
    nodeIdvarchar節點ID
    nodeNamevarchar節點名稱
    nodeTypevarchar節點類型
    attributejson節點其他配置
    fdl_sched_component_info定時任務的資料流算子資訊
    欄位
    類型含義
    calNodeIdvarchar算子ID
    nodeIdvarchar節點ID
    calNodeNamevarchar算子名稱
    calNodeTypevarchar算子類型
    attributejson算子其他配置
    fdl_sched_node_line_info定時任務的步驟流遠端資訊
    欄位
    類型含義
    taskIdvarchar定時任務ID
    attributejson遠端其他配置
    fdl_sched_global_para_info定時任務的全局參數
    欄位
    類型含義
    staticNumnumber靜態全局參數數量
    dynamicNumnumber動態全局參數數量
    fdl_pipe_task_info管道任務的任務元資料資訊
    欄位
    含義
    taskId管道任務ID
    taskName管道任務名稱
    taskStatus

    任務狀態:

    • IDLE - 閒置

    • RUNNING - 運作中

    • ERROR - 錯誤

    • PAUSED - 暫停

    syncType

    同步類型

    FULL_AND_INCREMENTAL - 全量+增量

    sourceType資料來源類型,如 MySQL、Oracle
    sourceTypeName資料來源類型展示名稱,如 MySQL、Oracle
    sourceConnectionName資料來源資料連結名稱
    targetType資料去向類型
    targetTypeName資料去向展示名稱
    targetConnectionName資料去向資料連結名稱
    firstStartTime任務首次啟動時間
    createTime務建立時間
    updateTime務上次修改時間
    enableLogicDeletion是否開啟邏輯刪除
    enableTimestamp否開啟時間戳
    enableDDL是否開啟DDL
    dirtyDataThreshold資料臨界值(如果未開啟,則置0)
    tableCount表數量
    logicalKeyTableCount使用邏輯主鍵的表數量
    physicalKeyTableCount使用物理主鍵的表數量
    autoCreateTableCount選擇自動建表的表數量
    existingTableCount選擇已存在表的表數量
    totalColumnCount總欄位數量
    enabledSyncColumnCount開啟同步欄位數量
    primaryKeyColumnCount主鍵欄位數量
    enableErrorMessageNotification是否開啟錯誤訊息通知
    enableDDLChangeNotification是否開啟DDL變化訊息通知
    notificationChannels訊息通知渠道,值為JSON陣列,其中:
    • SMS:表示簡訊通知渠道

    • Platform:表示平台訊息通知渠道

    • Email:表示郵件通知渠道

    如:["SMS", "Platform", "Email"]
    additionalProperties還未使用
    fdl_srv_api_info資料服務API配置資訊
    欄位
    說明
    apiIdAPI ID
    apiNameAPI名稱
    apiStatus

    API狀態

    • ONLINE(上線)

    • OFFLINE(下線)

    apiPathAPI路徑
    reqMethod

    API請求方法

    • GET

    • POST

    reqContentType

    請求Body格式(API請求方法選擇GET時為空)

    • application/json

    • x-www-form-urlencoded

    reqTimeoutAPI請求逾時時間(單位毫秒)
    sourceType資料源類型(MySQL、Oracle)
    sourceConnectionName資料源資料連結名稱
    sqlLengthSQL字元數(去掉換行符)
    sqlSpecialCharListSQL中出現的特殊用法
    sqlParamList

    SQL參數列表(JSON陣列)

    [{"paraName":"", "paraType":"", "isRequired":""}]

    • paraName:參數名

    • paraType:參數類型

    • isRequired:是否必填

    additionalProperties還未使用
    fdl_srv_app_info資料服務應用配置資訊
    欄位
    含義
    applicationId應用ID
    appName應用名稱
    authType

    認證方式

    • EmptyAuth(無認證)

    • DigestSignatureAuth(摘要認證)

    • AppCodeAuth(AppCode認證)

    additionalProperties額外屬性,還未使用
    fdl_srv_app_api_relation資料服務應用與API的綁定關係
    欄位
    含義
    applicationId應用ID
    apiIdAPI ID
    expTime過期時間
    freqLimit頻率限制
    additionalProperties額外屬性,還未使用

    4.2 fine_record_fdl_sched_exec_info

    任務/節點/算子運作記錄。

    主要欄位介紹如下表所示:

    欄位
    類型說明
    idvarchar運作記錄ID
    yearMonthvarchar埋點年月(YYYYMM)
    dayTimetimestamp埋點日期(年月日)
    timetimestamp埋點時間(年月日時分秒)
    ingestTimevarchar匯入到雲端的時間
    targetIdvarchar對應運作物件(定時任務/節點/算子)ID
    categoryvarchar一級分類(0:任務, 1:節點, 2:算子)
    typevarchar二級分類(任務固定為 SCHED ;節點/算子則標識節點/算子的類型)
    beginTimevarchar執行開始時間
    endTimevarchar執行結束時間
    statusvarchar執行狀態
    lastingvarchar執行耗時
    extraInfovarchar行補充資訊

    4.3 fine_record_fdl_pipe_exec_info

    管道任務每日運作記錄。

    主要欄位介紹如下表所示:

    欄位
    含義
    taskId管道任務ID
    taskName管道任務名稱
    taskStatus

    任務狀態:

    IDLE - 閒置

    RUNNING - 運作中

    ERROR - 錯誤

    PAUSED - 暫停

    syncType同步類型:FULL_AND_INCREMENTAL - 全量+增量
    fullSyncFinished全量同步是否已結束
    sourceTableName資料源表名稱
    targetTableName資料去向表名稱
    readRecordCount讀取記錄數(距上次統計時增量)
    totalReadRecordCount總讀取記錄數
    toSyncRecordCount待同步記錄數
    errorRecordCount髒資料記錄數
    insertRecordCount插入記錄數(距上次統計時增量)
    totalInsertRecordCount總插入記錄數
    updateRecordCount更新記錄數(距上次統計時增量)
    totalUpdateRecordCount總更新記錄數
    deleteRecordCount刪除記錄數(距上次統計時增量)
    totalDeleteRecordCount總刪除記錄數

    4.4 fine_record_fdl_srv_exec_info

    資料服務 API 每日呼叫資訊。

    欄位
    說明
    apiId被呼叫API的ID
    applicationId呼叫方使用的應用ID
    requestTime請求時間(yyyy-MM-dd HH:mm:ss)
    requestResult

    請求結果

    • SUCCESS

    • FAILED

    requestIP請求IP
    requestCost請求耗時
    responseDataNumAPI傳回資料量(行)
    responseErrorCode傳回錯誤碼


    附件列表


    主題: 管理系統
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!