1. 概述
1.1 版本
FineDataLink版本 | 功能變動 |
---|---|
4.1.7.3 | fine_dp_work_exec_record表遷移到logdb中,表名不變,後續資料均寫入遷移後資料表。升級後會將歷史運作記錄遷移到LogDB中。 |
4.1.11.2 | fine_intelli_focus_point 表中,id 值新增fdl_sched_task_plan_relation、fdl_sched_plan_schedule;id 值為 fdl_sched_task_info 時,新增欄位:timeoutConfig、retryConfig、errorLimitConfig、NoticeStore、WorkPriorityStore |
1.2 功能說明
本文將簡單介紹 LogDB 資料庫中各個資料表和表欄位的含義。
2. 平台相關
平台相關的 LogDB 資料表及表欄位請參見:LogDB 表結構
3. FDL 相關:業務表
3.1 資料管道
3.1.1 fine_pipeline_sync_information
歷史同步資料表。
欄位 | 說明 |
---|---|
uuid | UUID |
time | 時間戳 |
taskId | 任務ID |
sourceTableId | 源表ID |
readInsertNum | 來源端插入行數 |
readUpdateNum | 來源端更新行數 |
readDeleteNum | 來源端刪除行數 |
writeInsertNum | 目標端插入行數 |
writeUpdateNum | 目標端更新行數 |
writeDeleteNum | 目標段刪除行數 |
writeFaildNum | 目標端寫入失敗行數 |
3.1.2 fine_pipeline_log
管道日誌表。
欄位 | 說明 |
---|---|
uuid | UUID |
time | 時間戳 |
taskId | 任務ID |
sourceTableId | 源表ID |
logType | 日誌分類資訊
|
logLevel | 日誌等級:1-INFO;2-WARN;3-ERROR;8-BASIC |
logClass | 日誌分類:0-表級別;1-任務級別 |
desc | 日誌描述 |
detail | 日誌詳情 |
3.2 資料服務
3.2.1 fine_record_fdl_dataservice_monitor_info
資料服務呼叫記錄表。
欄位 | 含義 |
---|---|
uuid | 呼叫記錄ID |
time | 呼叫時間 |
apiUid | API的ID |
apiName | API名稱 |
apiUrl | API相對路徑 |
apiFolder | API所在資料夾 |
apiGroupUid | API應用ID |
apiGroupName | API應用名稱 |
requestId | 請求ID |
requestIp | 請求IP |
requestMethod | 請求方法 |
requestHandleTime | 請求處理時刻 |
requestSize | 請求體大小 |
statusCode | 狀態碼 |
responseSize | 回應體大小 |
responseDataRowCount | 回應行數 |
serviceLatency | 服務耗時 |
dataProcessLatency | 資料處理耗時 |
errorMessage | 錯誤資訊 |
exception | 錯誤詳情 |
3.3 資料開發
3.3.1 fine_dp_work_exec_record
歷史運作記錄表,新的運作記錄直接進行插入。
4.1.7.3 以及之後的版本,從 FineDB 遷移到 LogDB 中,表名不變。
注:定時任務每執行一次,都會生成一條執行記錄。
欄位 | 類型 | 說明 |
---|---|---|
id | varchar | 主鍵欄位uuid,實體id |
dirtyDataNum | bigint | 髒資料條數 |
finishTime | bigint | 任務完成時間 |
lastModifiedTime | bigint | 最近修改時間 |
path | varchar | 運作實體統計資訊和任務快照儲存路徑。值範例:dpworks/record/2024-03-13/04c51446-0053-48f3-b507-bad1bdf46592.log |
sourceExecuteId | varchar | 被重試的實體id,重試時有值,否則為null |
startTime | bigint | 任務開始時間 |
taskId | varchar | 任務id |
taskStatus | varchar | 任務運作狀態,包括初始狀態(INITIAL)、構建失敗(BUILD_FAIL)、佇列中(QUEUING)、運作中(RUNNING)、任務成功(SUCCESS)、任務執行報錯(ERROR)、任務失效(INVALID)、任務中斷(INTERRUPT) |
triggerBy | varchar | 觸發者,手動觸發為帳號;調度觸發則為調度計劃id |
triggerMethod | varchar | 任務觸發類型,包括定時觸發(FIX_TIME)、手動觸發(MANUAL)、手動重試(MANUAL_RETRY)、時間觸發(EVENT) |
triggerTime | bigint | 觸發時間 |
4. FDL 相關:埋點表
表間關係如下所示:
下圖中黃色欄位,為 fine_intelli_focus_point 表中,body 欄位解析後得到的欄位。
4.1 fine_intelli_focus_point
功能埋點主表。
主要欄位介紹如下表所示:
欄位 | 類型 | 說明 |
---|---|---|
appId | varchar | 工程ID |
yearMonth | varchar | 埋點年月(YYYYMM) |
dayTime | timestamp | 埋點日期(年月日) |
time | timestamp | 埋點時間(年月日時分秒) |
ingestTime | varchar | 匯入到雲端的時間 |
frFullVersion | varchar | FR版本資訊 |
biFullVersion | varchar | BI版本資訊 |
cloudVersion | varchar | 雲端健檢分析插件版本資訊 |
body | json | 根據 id 值的不同,代表不同模組資訊;解析後,包含多個欄位 |
id | varchar | 不同 id 值,代表不同模組資訊 |
根據 id 值的不同,代表不同模組資訊。詳情見下表說明:
id 值 | 含義 | body 欄位解析後包含欄位 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
fdl_global_info | FDL全局 | globalInfo:代表FDL版本資訊 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
fdl_sched_task_info | 定時任務的任務元資料資訊,包含任務屬性值 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
fdl_sched_plan_schedule(4.1.11.2 版本新增欄位) | 記錄FDL定時任務調度計劃配置資訊 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
fdl_sched_task_plan_relation(4.1.11.2 版本新增欄位) | 記錄FDL定時任務與調度計劃的關係 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
fdl_sched_node_info | 定時任務的步驟流節點資訊 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
fdl_sched_component_info | 定時任務的資料流算子資訊 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
fdl_sched_node_line_info | 定時任務的步驟流遠端資訊 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
fdl_sched_global_para_info | 定時任務的全局參數 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
fdl_pipe_task_info | 管道任務的任務元資料資訊 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
fdl_srv_api_info | 資料服務API配置資訊 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
fdl_srv_app_info | 資料服務應用配置資訊 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
fdl_srv_app_api_relation | 資料服務應用與API的綁定關係 |
|
4.2 fine_record_fdl_sched_exec_info
任務/節點/算子運作記錄。
主要欄位介紹如下表所示:
欄位 | 類型 | 說明 |
---|---|---|
id | varchar | 運作記錄ID |
yearMonth | varchar | 埋點年月(YYYYMM) |
dayTime | timestamp | 埋點日期(年月日) |
time | timestamp | 埋點時間(年月日時分秒) |
ingestTime | varchar | 匯入到雲端的時間 |
targetId | varchar | 對應運作物件(定時任務/節點/算子)ID |
category | varchar | 一級分類(0:任務, 1:節點, 2:算子) |
type | varchar | 二級分類(任務固定為 SCHED ;節點/算子則標識節點/算子的類型) |
beginTime | varchar | 執行開始時間 |
endTime | varchar | 執行結束時間 |
status | varchar | 執行狀態 |
lasting | varchar | 執行耗時 |
extraInfo | varchar | 執行補充資訊 |
4.3 fine_record_fdl_pipe_exec_info
管道任務每日運作記錄。
主要欄位介紹如下表所示:
欄位 | 含義 |
---|---|
taskId | 管道任務ID |
taskName | 管道任務名稱 |
taskStatus | 任務狀態: IDLE - 閒置 RUNNING - 運作中 ERROR - 錯誤 PAUSED - 暫停 |
syncType | 同步類型:FULL_AND_INCREMENTAL - 全量+增量 |
fullSyncFinished | 全量同步是否已結束 |
sourceTableName | 資料源表名稱 |
targetTableName | 資料去向表名稱 |
readRecordCount | 讀取記錄數(距上次統計時增量) |
totalReadRecordCount | 總讀取記錄數 |
toSyncRecordCount | 待同步記錄數 |
errorRecordCount | 髒資料記錄數 |
insertRecordCount | 插入記錄數(距上次統計時增量) |
totalInsertRecordCount | 總插入記錄數 |
updateRecordCount | 更新記錄數(距上次統計時增量) |
totalUpdateRecordCount | 總更新記錄數 |
deleteRecordCount | 刪除記錄數(距上次統計時增量) |
totalDeleteRecordCount | 總刪除記錄數 |
4.4 fine_record_fdl_srv_exec_info
資料服務 API 每日呼叫資訊。
欄位 | 說明 |
---|---|
apiId | 被呼叫API的ID |
applicationId | 呼叫方使用的應用ID |
requestTime | 請求時間(yyyy-MM-dd HH:mm:ss) |
requestResult | 請求結果
|
requestIP | 請求IP |
requestCost | 請求耗時 |
responseDataNum | API傳回資料量(行) |
responseErrorCode | 傳回錯誤碼 |