FineDB表結構- FineDataLink帮助文档

文檔創建者：Roxy

編輯次數：42

最近更新：Nikozhan 于 2025-07-30

提示:

本文內容適用於 4.2.5.1 及之後版本；4.2.5.1 之前版本請參見：歷史版本

1. 概述

本文主要介紹 FDL 相關的 FineDB 表結構，平台相關的 FineDB 表結構請參見：FineDB 表結構

注1：由於外接資料庫的類型不同，欄位的資料類型不完全一致，本文以工程內建資料庫為例，使用者需自行匹配。

注2：FineDB 配置庫用於存放工程配置資訊，各表之間存在聯動關係，隨意改動可能導致工程無法啟動等嚴重後果。

請勿手動增！刪！改！FineDB 資料庫內的任何資料！有可能造成不可修復的 BUG，需自行承擔後果。

2. 資料開發模組

2.1 資料開發 ER 圖

表間關係如下所示：

2.2 fdl_dev_global_param

全局參數定義表：定義和儲存全局參數配置。

欄位名	類型	說明
id	varchar	主鍵欄位uuid
add_time	varchar	建立時間，範例：2024-03-13 16:47:50
plan_detail	varchar
createTime	varchar	參數建立時間「時間戳格式」
creator	varchar	參數建立使用者
name	varchar	參數名
updateDetail	longtext	修改使用者和修改時間列表
value	varchar	參數的值：靜態參數的值，動態參數的除錯值
datatype	varchar	靜態參數的類型，包含日期（DATE）、正文（STRING）、布爾（BOOLEAN）、數值（NUMBER）四類動態參數的該值為空
config	longtext	動態參數的配置，包括reader和output，4.1.8.1版本新增該欄位
param_type	varchar	參數類型，值域為{"DYNAMIC", "STATIC"}，4.1.8.1版本新增該欄位

2.3 fdl_work_last_record

最近一次運作記錄資訊。

若定時任務當天沒有運作，會存有之前運作過的最新一條記錄。
若定時任務當天運作過，將新增一條運作記錄（lastRecord 欄位標記是否是最近一次運作記錄），歷史的運作記錄不會立刻刪掉。

欄位	類型	說明
id	varchar	主鍵欄位uuid，實體id
dirtyDataNum	bigint	髒資料條數
finishTime	bigint	任務完成時間
lastModifiedTime	bigint	最近修改時間
path	varchar	運作實體統計資訊和任務快照儲存路徑。值範例：dpworks/record/2024-03-13/04c51446-0053-48f3-b507-bad1bdf46592.log
sourceExecuteId	varchar	被重試的實體id，重試時有值，否則為null
startTime	bigint	任務開始時間
taskId	varchar	任務id
taskStatus	varchar	任務運作狀態，包括初始狀態（INITIAL）、構建失敗（BUILD_FAIL）、佇列中（QUEUING）、運作中（RUNNING）、任務成功（SUCCESS）、任務執行報錯（ERROR）、任務失效（INVALID）、任務中斷（INTERRUPT）
triggerBy	varchar	觸發者，手動觸發為帳號；調度觸發則為調度計劃id
triggerMethod	varchar	任務觸發類型，包括定時觸發（FIX_TIME）、手動觸發（MANUAL）、手動重試（MANUAL_RETRY）、時間觸發（EVENT）
triggerTime	bigint	觸發時間
lastRecord	bool	是否是最近一條運作記錄範例：true

2.4 fdl_work_delete

任務刪除備份表，被刪除的任務需要記錄刪除時的任務id和任務名。

欄位	類型	說明
id	varchar	主鍵欄位uuid，任務id
taskName	varchar	任務名稱

2.5 fdl_plan_calendar

調度日曆表，儲存使用者上傳的調度日曆。

欄位	類型	說明
id	varchar	主鍵欄位uuid，實體id
name	varchar	日曆名稱
filename	varchar	匯入日曆時檔案名稱
dates	longtext	日曆日期
startTime	bigint	日曆開始時間
endTime	bigint	日曆結束時間
quartz_calendar_name	varchar	QUARTZ_CALENDAR表中的日曆名
timezone_id	varchar	時區

2.6 fdl_plan_schedule

定時/事件調度、單一/批量調度表，包括四種情況，簡單說明：

plan_detail 列的 type 欄位	schedule_type 列的 TIME 值	schedule_type 列的 EVENT 值（4.1.11.1及之後版本棄用該欄位）
WORK_SCHEDULE_PLAN	單任務排程管理	單任務事件調度
SCHEDULE_PLAN	批量任務排程管理	批量任務事件調度

fine_plan_schedule 表結構如下表所示：

欄位

類型

說明

varchar

主鍵欄位uuid

add_time

varchar

建立時間

plan_detail

varchar

值範例：

{

"id": "82606bf6-4ccf-4ba9-907a-3b417334511e", //計劃id

"name": "調度1-定時B", //計劃名

"type": "WORK_SCHEDULE_PLAN" //計劃類型：單任務計劃：WORK_SCHEDULE_PLAN；批量計劃：SCHEDULE_PLAN

}

plan_id

varchar

計劃id

schedule

longtext

調度配置-排程管理：

欄位

含義

調度id,值等於表中的schedule_id

scheduleOpen

是否開啟調度

startTime

調度開始時間

frequency

調度的執行頻率配置：

type	含義
0	未開啟
1	只執行一次
2	簡單重複執行
3	明細頻率設定
4	運算式設定

endTime

調度結束時間

type

調度的類型，TIME代表排程管理

calendar

調度日曆

調度配置-事件調度（4.1.11.1 及之後版本棄用）：

欄位	含義
id	調度id
scheduleOpen	是否開啟調度
dependentTasks	依賴的任務列表
condition	執行條件
type	調度的類型，EVENT代表事件調度

schedule_id

varchar

調度id（事件調度沒有該欄位）

schedule_type

varchar

調度類型：

4.1.11.1 之前版本：包括排程管理（TIME）、事件調度（EVENT）
4.1.11.1 及之後版本：排程管理（TIME）

business_Type

int

業務類型

2.7 fdl_plan_work

計劃（不區分排程管理和事件調度）和任務的對應關係表，一個計劃可以對應多個任務。

4.2.5.1 之前版本，名稱為 fine_dp_plan_work ；4.2.5.1 及之後版本，fine_dp_plan_work 表被棄用。

欄位	類型	說明
id	varchar	主鍵欄位uuid
plan_id	varchar	執行計劃id
work_id	varchar	任務id
work_type	varchar	任務類型，比如定時任務（TIMING）

2.8 fdl_exec_record_trigger

能觸發事件調度的記錄表。

欄位	類型	說明
id	varchar	記錄id
task_id	varchar	任務id
task_status	varchar	任務狀態（必須是完成狀態）範例資料：SUCCESS
last_modified_time	long	最後修改時間範例資料：1721704150000
task_group_list	varchar	已經觸發的任務組列表

2.9 fdl_schedule

事件調度基礎資訊表。

欄位	類型	說明
id	varchar	計劃id
name	varchar	計劃名
add_time	long	新增時間；可根據新增時間排序
description	varchar	描述
status	varchar	調度狀態；有三種狀態：OPEN/CLOSE/ABNORMAL

2.10 fdl_task_group

事件調度任務組表。

欄位	類型	說明
id	varchar	任務組id
plan_id	varchar	計劃id
name	varchar	任務組名
status	varchar	任務組狀態：OPEN/CLOSE
judgement	varchar	判斷條件 { "type":TIMING/REALTIME "condition": { "type":"judge", "conditionCompareType":"DATE_AFTER", "valueType":"DATE", "source": { "type":"field", "value":"taskFinishTime", }, "target":{ "type": "DATE_INTERVAL", "value": { "num": 1, "unit": "DAY" } } } "timing":{ "id": "0f3c2bb9-498a-4bf0-991b-545aa13a41d3", //實際為任務組id "scheduleOpen": true, //是否開啟調度;預設為true "startTime": { //調度開始時間 "value": "2024-03-13 18:22:19" }, "frequency": { //調度的執行頻率配置 "type": 1, "value": null }, "endTime": { //調度結束時間 "type": 1, "value": null }, "type": "TIME", //調度的類型，TIME代表排程管理 "calendar": { "open": false, "calendarId": "" } } once:true,//是否只使用一次 status:"SUCCESS" //可以觸發下游任務組的任務狀態；SUCCESS/FINISHED }

2.11 fdl_task_map_group

任務和任務組的映射表。任務組說明請參見：事件調度

欄位	類型	說明
id	varchar	任務id
group_id	varchar	任務組id

2.12 fine_dp_task_group_relation

任務組之間的關係表。

欄位	類型	說明
id	varchar	關係id
from_id	varchar	任務組關係的來源端
to_id	varchar	任務組關係的目標端
plan_id	varchar	計劃id

3. 資料管道

3.1 資料管道 ER 圖

表間關係如下所示：

3.2 fdl_pipe_src_info_define

管道源端資訊表

欄位	類型	說明
id	varchar	任務D
connection_type	varchar	連結類型
connection_name	varchar	連結名稱
read_mode	varchar	讀取模式
sync_type	varchar	同步方式
incremental_sync_point	varchar	僅增量起點

3.3 fdl_pipe_src_table_define

源端的表資訊。

欄位	類型	說明
id	varchar	管道任務中源表的id
task_id	varchar	任務id
target_table_id	varchar	目標表id
fdl_database	varchar	庫名
fdl_schema	varchar	模式名
fdl_table	varchar	表名
full_sync_finished	boolean	是否同步完成
fdl_invalid	boolean	表是否失效
fdl_columns	varchar	欄位資訊

3.4 fdl_pipe_target_info_define

管道目標端資訊表。

欄位	類型	說明
id	varchar	任務ID
connection_type	varchar	連結類型
connection_name	varchar	連結名稱
fdl_database	varchar	資料庫名稱
fdl_schema	varchar	模式名稱
read_mode	varchar	讀取模式
source_change_strategy	varchar	刪除策略：邏輯刪除、物理刪除
update_timestamp_column	boolean	是否開啟時間欄位
apply_ddl	boolean	應用ddl
enable_high_speed_load	boolean	是否啟動高速裝載
enable_no_primary	boolean	是否開啟無主鍵同步

3.5 fdl_pipe_dest_table_define

管道目標表配置。

欄位	類型	說明
id	varchar	管道任務中源表的id
task_id	varchar	任務id
fdl_database	varchar	庫名
fdl_schema	varchar	模式名
fdl_table	varchar	表名
to_table_mode	varchar	建表類型
fdl_columns	varchar	欄位資訊
advanced_config	varchar	額外資訊
to_table_type	varchar	目標表的表類型
to_table_comment	varchar	目標表的註釋

3.6 fdl_pipe_group_define

管道任務分組配置。

欄位	類型	說明
id	varchar	主鍵，隨機的uuid
task_id	varchar	任務id
name	varchar	分組名稱
fdl_columns	varchar	欄位資訊

3.7 fdl_pipe_table_group_define

欄位	類型	說明
id	varchar	主鍵，隨機的uuid
task_id	varchar	任務id
group_id	varchar	分組id
column_name_map	varchar	欄位映射

3.8 fdl_pipe_table_map_define

管道任務映射資訊。

欄位	類型	說明
id	varchar	主鍵，隨機的uuid
task_id	varchar	任務id
source_id	varchar	分組id
target_id	varchar	欄位映射
map_type	varchar	映射方式：按行映射、按名稱映射
table_map_type	varchar	映射類型：表到表、分組表到表

3.9 fdl_pipe_savepoint

管道任務斷點記錄，用來斷點續傳。

欄位	類型	說明
id	varchar	記錄ID
task_id	varchar	任務id
type	varchar	斷點類型
upgrade	longtext	升級斷點
value	longtext	JSON 格式，實際斷點儲存的值，不同類型的斷點儲存的值不同
incremental_timestamp	bigint	增量開始時間

3.10 fdl_pipe_table_record

管道任務執行記錄與統計表

部分是表級的記錄（下表中欄位名為綠色），任務級別的記錄由表級匯總得到。部分是任務級別的（下表中欄位名為灰色）。

欄位	類型	說明
id	varchar	任務id或源表id
delete_record_count	bigint	刪除行數（表級）
delete_traffic	bigint	刪除資料量（單位Byte）
error_record_count	bigint	失敗行數
insert_record_count	bigint	插入行數
insert_traffic	bigint	插入資料量（單位Byte）
last_log_time	bigint	上一次任務記錄時間
last_read_time	bigint	上次讀取時FDL伺服器的時間
last_start_time	bigint	上一次任務啟動時間
last_write_time	bigint	上次寫入時FDL伺服器的時間
read_record_count	bigint	讀取行數
read_total_traffic	bigint	讀取資料量（單位Byte）
table_full_name	varchar	來源表的完整名稱
task_id	varchar	任務id
to_sync_record_count	bigint	待同步行數
to_sync_traffic	bigint	待同步資料量（單位Byte）
type	varchar	記錄的類型，是表還是任務；4.2.1.1 及之後版本棄用
update_record_count	bigint	更新行數
update_traffic	bigint	更新資料量（單位Byte）
work_duration	bigint	任務實際工作時長（若任務中途有中斷，則中斷時間不會統計在內）；4.2.1.1 及之後版本棄用
last_massage_read_time	bigint	上次讀取時對應的日誌在資料庫中的時間
last_massage_write_time	bigint	上次寫入時對應的日誌在資料庫中的時間
status	varchar(255)	表狀態

3.11 fdl_pipeline_task_record

管道任務的運作資訊表（任務級別）。

欄位	類型	說明
id	varchar(255)	任務id
status	varchar(255)	任務的運作狀態
firstStartTime	bigint	首次啟動時間
createTime	bigint	建立時間
udpateTime	bigint	更新時間
workNodeId	varchar(255)	運作節點
lastStartTime	bigint	最近一次啟動時間
startMessage	longtext	啟動資訊
notice	boolean	是否提示

3.12 fine_dp_pipeline_dirty

管道任務中如果擷取到髒資料後，會將髒資料的基本資訊儲存在這個表中。

欄位名稱	類型	說明
id	varchar(255)	髒資料id，唯一標識一條髒資料
error_params	varchar	不再使用
error_type	varchar(255)	髒資料的異常類型 enum 的名稱
fdl_offset	bigint	髒資料在指定topic的offset
primary_key	varchar(1024)	主鍵資訊，一個json字串。例子： { "before": "更新前主鍵", "after": "更新後主鍵" }
task_id	varchar(255)	任務id
task_table_id	bigint	表id
timestamp	bigint	髒資料擷取時間
fdl_topic	varchar(255)	髒資料所在的topic
fdl_code	int	該欄位用來記錄髒資料的一些標籤位，長度為32位，也就可以標記32個不同狀態目前從右往左的前三位按序用來標記，插入、刪除、更新其中主鍵更新的髒資料會被視為刪除+插入，對應的code二進制code就是11
error_message	varchar(2048)	報錯java堆疊異常的errormessage
fdl_extra	longtext	額外的資訊，比如錯誤堆疊，當前資料對應的斷點資訊等等，透過json格式進行儲存

4. 資料服務

4.1 資料服務 ER 圖

表間關係如下：

4.2 fine_dp_service_app

資料服務應用配置表。

欄位	類型	說明
id	varchar	主鍵欄位uuid；無實際作用
appId	varchar	應用id
authInfo	longtext	認證資訊範例資料： { "authType": "EmptyAuth", // 當前生效的認證類型 "authConfig": [ //認證的具體配置 { "type": "EmptyAuth" // 無認證 }, { "code": "AppCode a25787ba-fd6c-4f23-b46a-8b148c2ab1a9", "type": "AppCodeAuth" // APPCode認證 }, { "secret": "", "type": "DigestSignatureAuth" // 摘要認真 } ], "type": "Auth" }
creator	varchar	建立帳號
description	varchar	應用描述
version	varchar	版本

4.3 fine_dp_service_catalog

資料服務的目錄表，具體結構和fine_dp_conf_entity_x類似。

欄位	類型	說明
id	varchar	主鍵欄位uuid；無實際作用
entity_key	varchar	版本+任務id作為key，在子表空間內是唯一的
namespace	varchar	命名空間 DataServiceAppCatalogDO // 應用 DataServiceAPICatalogDO // API
value_class	varchar	entity_value序列化對應的實體類
entity_value	longtext	json格式的配置資訊

不同 namespace 對應的明細：

namespace

說明

DataServiceAPICatalogDO（API目錄）

4.0.27 及之後版本

欄位	含義
id	api任務/資料夾的id
pid	父資料夾的id
name	名稱
createTime	建立時間
type	類型： ENTITY：api任務 PACKAGE：資料夾
recycleBinDO 4.1.9.3 及之後版本，新增該欄位	回收站資訊

DataServiceAppCatalogDO（應用目錄）

欄位	含義
id	應用/資料夾的id
pid	父資料夾的id
name	應用/資料夾的名稱
createTime	建立時間
type	類型： ENTITY：應用 PACKAGE：資料夾

4.4 fine_dp_service_mapping

應用和API的聯動表。

欄位

類型

說明

varchar

主鍵欄位uuid；無實際作用

apiId

varchar

API的ID

appId

varchar

應用ID

expireTime

bigint

有效期：

-1表示無限制
其他值代表對應的時間戳

rateLimit

varchar

存取限制：

欄位

含義

limitCount

單位時間內允許多少個存取請求

-1表示無限制
其他值代表對應的限制個數

timeUnit

時間單位

MINUTES：分鐘
HOURS：小時
DAYS：天

範例資料：頻率最大100次/分鐘

{

"limitCount": 100, // 單位時間最大存取次數

"timeUnit": "HOURS", // 時間單位

"type": "RateLimit"

}

4.5 fine_dp_service_task

API配置表。

欄位	類型	說明
id	varchar	主鍵欄位uuid；無實際作用
taskId	varchar	API的ID
taskType	varchar	冗餘欄位；目前未實際使用
taskDetail	longtext	API配置資訊
requestPath	varchar	api路徑
requestMethod	varchar	請求方法：post、get
isOnline	bit	是否上線：1-上線，0-下線
isAuthActive	bit	目前未實際使用
description	varchar	API描述
timeout	bigint	逾時時間
version	varchar	版本
requestContentType	varchar	請求體類型

5. 庫表管理

5.1 庫表管理ER圖

5.2 fine_datacenter_sql_script

SQL 腳本管理表：儲存使用者儲存的 SQL 腳本資料。

欄位	類型	說明
id	varchar	主鍵欄位uuid
connection	varchar	所屬資料連結
last_log	longtext	最近一次日誌，內容是日誌物件json序列化後的字串
content	longtext	腳本內容
create_time	bigint	腳本建立時間戳
name	varchar	腳本名稱
last_modified_time	bigint	腳本更新時間戳

5.3 fine_datacenter_updatelog

SQL腳本管理表：儲存使用者儲存的sql腳本資料

欄位	類型	說明
id	varchar	主鍵欄位uuid
script_id	varchar	這條更新記錄對應的腳本id
editor	varchar	更新人
modified_time	bigint	更新時間

6. 公共模組

6.1 公共模組 ER 圖

表間關係如下：

6.2 fine_dp_general_config

通用配置表：定義和儲存通用配置（基於資料連結，定義大小寫轉換規則）。

欄位	類型	說明
id	varchar	主鍵欄位uuid
config	longtext	資料連結名和對應的大小寫轉換規則，目前 transformation 包含全部轉大寫（UPPER_CASE）、全部轉小寫（LOWER_CASE）範例資料： {"transformation":"UPPER_CASE","connections":["local_fdl_data"]}
create_time	bigint	配置建立時間
type	varchar	通用配置類型，暫時只有AUTO_CREATE_TABLE_CASE
update_time	varchar	配置修改時間

6.3 fine_dp_operate_history

最近編輯記錄表：包括資料開發、資料管道模組的最近標記記錄。

欄位	類型	說明
id	varchar	主鍵欄位uuid
operate_time	bigint	編輯時間
operate_type	varchar	編輯類型，包括建立（CREATE）、刪除（DELETE）、修改（EDIT）
operate_user	varchar	編輯使用者
task_id	varchar	任務id
task_name	varchar	任務名
task_path	varchar	任務路徑
task_type	varchar	任務類型，包括資料開發（DATA_DEVELOP）、資料管道（PIPELINE_DEVELOP）

6.4 fine_dp_lineage_node

血緣節點表：

欄位名	說明
id	主鍵
graph_id	圖id
resource_id	對應的業務資源id
group_id	節點分組id
resource_info	對應的業務資源資訊

6.5 fine_dp_lineage_edge

血緣節點關係表：

欄位名	說明
id	主鍵
source_id	父節點id，外鍵，對應於fine_dp_lineage_node的id
target_id	子節點id，對應於fine_dp_lineage_node的id
graph_id	圖id

6.6 fine_dp_lineage_sql

解析失敗的SQL記錄表，當SQL解析失敗時，記錄在當前表裏，目前僅做記錄。

6.7 fine_dp_lineage_event

血緣非同步更新佇列表，暫存未處理的事件。

欄位	類型	說明
id	VARCHAR	主鍵
entity_id	VARCHAR	事件相聯動的業務實體主鍵，比如定時任務id
entity_type	VARCHAR	業務實體類型： DEV_WORK：定時任務 PIPELINE：管道任務 SERVICE_API：資料服務API
status	INTEGER	事件狀態：未處理：0 處理中：1
event_type	VARCHAR	事件類型： UPDATE：更新事件 DELETE：刪除事件
create_time	LONG	建立時間，佇列根據這個欄位來保證順序

6.8 fdl_center_event_offset

該表用於記錄事件中心的偏移資訊

欄位名	類型	描述
id	varchar	主鍵ID
handler_type	varchar	處理器類型
event_offset	bigint	事件偏移

6.9 fdl_connection_lineage

該表用於資料連結和任務的血緣關係

欄位名	類型	描述
id	varchar	主鍵ID
resource_id	varchar	資源ID
connection_id	varchar	連結ID
resource_type	varchar	資源類型
publish_state	varchar	發佈狀態
create_time	bigint	建立時間
resource_info	varchar	資源資訊

7. 資料開發-實時任務

7.1 fdl_stream_savepoint

實時任務的斷點資訊。

欄位	類型	說明
id	varchar	uuid
create_time	long	建立時間
operator_id	varchar	斷點對應資料源算子Id
type	varchar	資料源類型
update_time	long	更新時間
value	varchar	儲存的斷點數據共享中斷點具體資料也存在這裏
work_id	varchar	任務ID

7.2 fdl_stream_work_record

任務執行記錄表，任務每一次運作都會產生一條執行記錄資訊

欄位	類型	說明
id	varchar	主鍵欄位UUID
dirtyDataNum	long	髒資料數量
finishTime	long	任務完成時間，範例資料：1732069683683
recordId	varchar	運作記錄ID
startTime	long	任務啟動時間
status	int	任務狀態；0~3分別表示啟動失敗，運作失敗，手動暫停，運作中
stopBy	varchar	終止任務的使用者
triggerBy	varchar	觸發任務的使用者
triggerMethod	int	任務的啟動類型；0～1分別表示啟動和重置啟動
workId	varchar	任務ID
path	varchar	任務詳情資料所在檔案路徑
engine_type_name	varchar	執行任務的引擎名稱
worker_node_id	varchar	叢集節點名稱

7.3 fdl_stream_task_status

實時任務狀態表，記錄一些實時任務本身的狀態資訊

欄位	類型	說明
id	varchar	uuid
fisrt_start_time	long	任務首次啟動時間
last_start_time	long	任務上次啟動時間
status	varchar	任務狀態
work_id	varchar	任務id作為key

8. 資料檢查任務

8.1 資料檢查ER圖

8.2 fine_detection_record

最近一條運作記錄表：儲存最近一次運作記錄以及運作記錄構建後的初始快照。

欄位	類型	說明
id	varchar	主鍵欄位uuid，該欄位非主鍵
work_id	varchar	任務id
start_time	long	開始時間
finsh_time	long	結束時間
status	varchar	資料檢查任務運作狀態 BUILDING-構建中； BUILD_FAIL-構建失敗； PASS-透過； NOT_PASS-不透過； ERROR-運作失敗； INVALID-失效； INTERRUPT-中斷； RUNNING-運作中； QUEUEING-佇列中）
trigger_method	varchar	觸發方式（FIX_TIME-定時；MANUAL-手動）
trigger_by	varchar	觸發者
trigger_time	long	觸發時間
failed_table_count	long	未透過表數量
total_table_count	long	檢查表總數
last_modified_time	long
last_record	boolean	是否是最近一條運作記錄
path	varchar	日誌檔案儲存路徑；路徑為資料夾，資料夾下存放有日誌檔案和快照檔案

8.3 fine_detection_work

資料檢查任務配置表，任務目錄、訊息通知配置。

欄位	類型	說明
id	varchar	主鍵欄位uuid
work_id	varchar	任務id作為key
version	varchar	任務的版本號
project_version	varchar	工程版本號
namespace	varchar	命名空間，用來區分子表的
value	longtext	不同實體的具體json配置
create_time	long	建立時間
update_time	long	更新時間

8.4 fine_detection_global_rule

全局規則定義表：定義和儲存全局規則配置。

欄位	類型	說明
id	varchar	主鍵欄位uuid
name	varchar	規則名
ruleType	varchar	規則類型；值範例：TABLE/COLUMN，含義為表級/欄位級
detection_object	varchar	檢查物件
range	varchar	預期範圍
rule	longtext	詳細配置
creator	varchar	建立者
createTime	long	建立時間
updateDetail	varchar	修改記錄

8.5 fine_detection_relation

任務和全局規則引用關係表：儲存任務和全局規則的引用關係（N:N）。

欄位	類型	說明
id	varchar	主鍵欄位uuid
work_id	varchar	任務id
rule_id	varchar	規則id

9. 應用複用模組

9.1 fine_dp_migration_trace

維護任務 id 和 forkId 的關係，涉及功能：檢查任務-校驗資料是否合法

欄位	類型	說明
id	varchar	主鍵欄位uuid
resource_id	varchar	資源id
resource_type	varchar	資源類型；可以是定時任務，也可以是調度計劃
fork_id	varchar	對 FDL 無用

10. fine_conf_entity

具體表結構說明請參見：配置資訊儲存表

本章節只記錄 FDL 相關欄位：

4.1.9.3 及之後版本，fine_conf_entity 表新增欄位 FDLIntegrationConfig.previewCache，值預設為 false；為 true 時代表開啟算子/節點的預覽快取，下一次預覽直接展示上次快取結果。

11. 資料源模組

11.1 fine_connection_catalog

資料連結的目錄表。

欄位	類型	說明
id	varchar	主鍵欄位uuid
entity_key	varchar	資料連結名（無id） or 目錄id
namespace	varchar	命名空間
value_class	varchar	entity_value序列化對應的實體類
entity_value	varchar	json格式的配置資訊

11.2 fine_test_connection

資料源測試連結結果表。

欄位	類型	說明
id	varchar	主鍵欄位uuid
entity_key	varchar	資料連結名
entity_value	longtext	json格式的配置資訊

12. 公用表

公用表是不同模組一起使用的表，表內部透過 resource_type 區分不同模組資料，resource_id 代表業務 id。

12.1 fdl_catalog 目錄表

欄位名	欄位類型	說明
id	varchar	主鍵
catalog_type	varchar	目錄節點類型： ENTITY – 檔案 PACKAGE – 資料夾
name	varchar	節點名稱
pid	varchar	父節點id
description	varchar	描述
sort_index	varchar	排序
resource_id	varchar	資源id，比如定時任務id等
resource_type	varchar	資源類型，每個業務模組根據這個欄位區分 PIPELINE：資料管道 DATA_SERVICE_API：資料服務API DATA_SERVICE_APP：資料服務應用 DETECTION：資料檢查任務 OFFLINE：定時任務 STREAM：實時任務
create_user	varchar	節點建立使用者id
create_time	varchar	建立時間

1.2 fdl_recyclebin 回收站表

欄位名	欄位類型	說明
id	varchar	主鍵
name	varchar	回收的資源名稱，比如定時任務名稱
path	varchar	資源刪除之前的目錄
resource_id	varchar	資源id，比如定時任務id等
resource_type	varchar	資源類型，每個業務模組根據這個欄位區分
create_user	varchar	資源的建立使用者id
delete_user	varchar	刪除資源的使用者id
delete_time	varchar	刪除時間

12.3 fdl_work_info 任務資訊表

欄位名	欄位類型	說明	備註
id	varchar	唯一標識欄位
resource_id	varchar	資源id（work_id）
resource_type	varchar	資源類型，用於區分模組，即定時任務、實時任務、管道任務、API、應用、檢查任務等
name	varchar	任務名
create_time	long	建立時間的時間戳
create_user	varchar	建立者	userId
description	varchar	任務描述
update_time	long	任務配置更新時間	updateTime僅記錄配置更新時間離線任務記錄畫布更新時間，更新任務控制不會更新這個時間

12.4 fdl_work_status 任務狀態表

欄位	類型	說明
id	varchar	唯一標識欄位
resource_id	varchar	資源id（work_id）
resource_type	varchar	資源類型
type	varchar	狀態類型，用於差別於不同模組的不同類型狀態。以定時任務為例：定時任務有着發佈狀態和校驗狀態兩種
status	varchar	狀態值

12.5 fdl_control_define 開發版本任務控制表

欄位	類型	說明
id	varchar	唯一標識欄位
resource_id	varchar	資源id（work_id）
resource_type	varchar	資源類型
control	varchar	控制值，包含任務的所有控制值的 json 資料

12.6 fdl_version_info

版本資訊表，儲存版本發佈時的基本資訊。

欄位	類型	說明
id	varchar	唯一標識欄位
resource_id	varchar	資源id（work_id）
resource_type	varchar	資源類型
version	varchar	版本號、1-N
publish_user	varchar	發佈者，userId
publish_time	long	發佈時間
description	varchar	發佈描述

12.7 fdl_control_version

任務控制版本表。

欄位	類型	說明
id	varchar	唯一標識欄位
resource_id	varchar	資源id（work_id）
resource_type	varchar	資源類型
control	varchar	控制值，包含任務的所有控制值的 json 資料
version	varchar	版本號

12.8 fdl_control_deploy

部署版本任務控制表。

欄位	類型	說明
id	varchar	唯一標識欄位
control	varchar	控制值，包含任務的所有控制值的 json 資料
delopy_time	long	最近一次部署時間
deploy_user	varchar	部署者，userId
resource_id	varchar	資源id（work_id）
resource_type	varchar	資源類型

12.9 fdl_conf_entity_x

公共配置表，包括當前版本、是否還原等

欄位	類型	說明
id	varchar	主鍵欄位uuid
entity_key	varchar	版本+任務id作為key，在子表空間內是唯一的
namespace	varchar	命名空間，用來區分子表的
value_class	varchar	子表對應的序列化實體類
entity_value	longtext	不同實體的具體json配置
is_deleted、is_segment、key_class、segment_length、timestamp、values_index、values_length 欄位已被廢棄

其中以namespace為子表名，entity_value（json格式）為子表欄位和資料詳細範例資料：

namespace

entity_value範例資料

DPFineDBVersionStore

{

"version": "4.1.5.5" //當前版本號，必須欄位

}

DPFineBackupStore

"true"/"false"

13. 資料檢查

13.1 資料檢查ER圖

13.2 fdl_detection_work

資料檢查任務配置表，任務目錄、訊息通知配置。

欄位	類型	說明
id	varchar	主鍵欄位uuid
work_id	varchar	任務id
project_version	varchar	配置的版本號
task_detail	longtext	任務的具體配置，json格式
create_time	long	建立時間
create_user	varchar	建立使用者
update_time	long	更新時間

13.3 fdl_detection_global_rule

全局規則定義表：定義和儲存全局規則配置

欄位	類型	說明
id	varchar	主鍵欄位uuid
name	varchar	規則名
rule_type	varchar	規則類型
detection_object	varchar	檢查物件
rule_range	varchar	預期範圍
rule_detail	longtext	詳細配置
creator	varchar	建立者
create_time	long	建立時間
update_detail	varchar	修改記錄

13.4 fdl_detection_relation

任務和全局規則引用關係表：儲存任務和全局規則的引用關係（N:N）。

欄位	類型	說明
id	varchar	主鍵欄位uuid
work_id	varchar	任務id
rule_id	varchar	規則id

13.5 fdl_detection_record

最近一條運作記錄表：儲存最近一次運作記錄以及運作記錄構建後的初始快照。

欄位	類型	說明
id	varchar	uuid
work_id	varchar	任務id
start_time	long	開始時間
finsh_time	long	結束時間
status	varchar	資料檢查任務運作狀態（BUILDING-構建中；BUILD_FAIL-構建失敗；PASS-透過；NOT_PASS-不透過；ERROR-運作失敗；INVALID-失效；INTERRUPT-中斷；RUNNING-運作中；QUEUEING-佇列中）
trigger_method	varchar	觸發方式（FIX_TIME-定時；MANUAL-手動）
trigger_by	varchar	觸發者
trigger_time	long	觸發時間
failed_table_count	long	未透過表數量
total_table_count	long	檢查表總數
last_modified_time	long
last_record	boolean	是否是最近一條運作記錄
path	varchar	日誌檔案儲存路徑路徑為資料夾，資料夾下存放有日誌檔案和快照檔案

14. 實時共享中心

14.1 fine_rtc_task_config

每個採集任務會有一些配置資料需要持久化儲存。

欄位名	類型	說明
id	varchar	採集任務id
name	varchar	採集任務名稱
connection	varchar	資料連結名稱
read_mode	varchar	採集模式，即採集器的類型
create_time	BIGINT	採集任務建立時間
worker_node_id	varchar	採集任務當前運作或最近一次運作的叢集節點id
disabled	BOOLEAN	採集任務是否已禁用

15. 資料清理

15.1 資料清理ER圖

15.2 fdl_data_cleaning_rule

全局清洗規則實體表：定義和儲存全局清洗規則

欄位	類型	說明
id	varchar	主鍵欄位uuid
name	varchar	全局清洗規則名稱
create_time	long	規則建立時間
create_user	varchar	規則建立者
modify_detail	varchar	規則修改明細
rule_entity	longtext	規則配置明細字串
rule_signature	varchar	規則簽章

15.3 fdl_data_cleaning_refer

業務引用規則明細：儲存業務中任務對全局清洗規則的引用

欄位	類型	說明
id	varchar	主鍵欄位uuid
rule_id	varchar	清洗規則id
task_id	varchar	業務任務id
task_info	varchar	業務任務資訊
task_namespace	varchar	業務任務命名空間

16. 資料源模組

16.1 fine_connection_catalog

資料連結的目錄表

欄位	類型	說明
id	varchar	主鍵欄位uuid
entity_key	varchar	資料連結名（無id） or 目錄id
namespace	varchar	命名空間
value_class	varchar	entity_value序列化對應的實體類
entity_value	longtext	json格式的配置資訊

16.2 fine_test_connection

資料源測試連結結果表

欄位	類型	說明
id	varchar	主鍵欄位uuid
entity_key	varchar	資料連結名
entity_value	longtext	json格式的配置資訊

17. 定時管道任務

17.1 ER 圖

17.2 fdl_offline_pipe_src_info

定時管道來源配置資訊。

4.2.8.1 版本新增。

欄位	類型	說明
id	varchar	主鍵ID
connection_type	varchar	連結類型
connection_name	varchar	連結名稱
dm_connection_id	varchar	資料管理連結ID

17.3 fdl_offline_pipe_dest_info

定時管道目標配置資訊表。

4.2.8.1 版本新增。

欄位	類型	說明
id	varchar	主鍵ID
connection_type	varchar	連結類型
connection_name	varchar	連結名稱
fdl_database	varchar	資料庫名稱
fdl_schema	varchar	模式名稱
add_update_timestamp	tinyint	是否新增更新時間戳欄位
load_type	varchar	載入類型

17.4 fdl_offline_pipe_table_map

基礎的映射資訊表。

4.2.8.1 版本新增。

欄位	類型	說明
id	varchar	主鍵ID
task_id	varchar	任務ID
map_type	varchar	列映射類型
create_time	bigint	建立時間

17.5 fdl_offline_pipe_src_table

定時管道源表定義表。

4.2.8.1 版本新增。

欄位	類型	說明
id	varchar	主鍵ID
task_id	varchar	任務ID
fdl_database	varchar	資料庫名稱
fdl_schema	varchar	模式名稱
fdl_table	varchar	表名稱
fdl_columns	text	欄位資訊

17.6 fdl_offline_pipe_dest_table

定時管道目標表定義表。

4.2.8.1 版本新增。

欄位	類型	說明
id	varchar	主鍵ID
task_id	varchar	任務ID
fdl_database	varchar	資料庫名稱
fdl_schema	varchar	模式名稱
fdl_table	varchar	表名稱
to_table_mode	varchar	目標表模式（自動建表/已存在表）
fdl_columns	text	欄位資訊
to_table_comment	varchar	目標表註釋

17.7 fdl_offline_pipe_fine_app

應用資料源表資訊。

4.2.8.1 版本新增。

欄位	類型	說明
id	varchar	主鍵ID
task_id	varchar	任務ID
display_name	varchar	顯示名稱
table_type	varchar	表類型（全量表/增量表）
sub_Table	tinyint	是否子表
parent_table_id	text	父表ID
parent_field	text	父表欄位
main_table_id	text	主表ID
begin_offset	bigint	初始偏移
fdl_offset	bigint	當前偏移
sub_table_method	varchar	子表處理方式

17.8 fdl_offline_pipe_log_record

定時管道日誌記錄表。

4.2.8.1 版本新增。

欄位	類型	說明
id	varchar	主鍵ID
task_id	varchar	任務ID
exec_id	varchar	執行ID
source_table_id	varchar	源表ID
log_type	varchar	日誌類型（任務配置、任務啟停等）
log_level	varchar	日誌級別（INFO、WARN、ERROR等）
log_class	varchar	日誌類別（任務級日誌、表級日誌等）
desc	varchar	日誌描述
detail	text	日誌詳情

17.9 fdl_offline_pipe_ins_rec

維運記錄表。

4.2.8.1 版本新增。

欄位	類型	說明
id	varchar	主鍵ID（使用運作id作為主鍵）
work_id	varchar	工作ID
start_time	bigint	開始時間
finish_time	bigint	結束時間
consume_time	bigint	消耗時間
instance_status	varchar	運作記錄狀態
trigger_method	varchar	觸發方式
trigger_by	varchar	觸發來源
total_table_count	int	同步表總數
last_record	tinyint	是否最後記錄
table_detail	text	表詳細資訊

17.10 fdl_offline_pipe_ins_rec

維運記錄表。

4.2.8.1 版本新增。

欄位	類型	說明
id	varchar	主鍵ID
work_id	varchar	工作ID
start_time	bigint	開始時間
finish_time	bigint	結束時間
consume_time	bigint	消耗時間
instance_status	varchar	實體狀態
trigger_method	varchar	觸發方式
trigger_by	varchar	觸發來源
dirty_count	int	髒資料數量
error_table_count	int	錯誤表數量
table_detail	text	表詳細資訊

上一篇：快取配置

下一篇：手動修改fine_conf_entity

有幫助
沒幫助
只是瀏覽
评价文档，奖励 1 ~ 100 随机 F 豆！