历史版本40 :FineDB表結構 返回文檔
編輯時間: 內容長度:图片数:目录数: 修改原因:

icon提示:
本文內容適用於 4.2.5.1 及之後版本;4.2.5.1 之前版本請參見:歷史版本

目錄:

1. 概述编辑

本文主要介紹 FDL 相關的 FineDB 表結構,平台相關的 FineDB 表結構請參見:FineDB 表結構

注1:由於外接資料庫的類型不同,欄位的資料類型不完全一致,本文以工程內建資料庫為例,使用者需自行匹配。

注2:FineDB 配置庫用於存放工程配置資訊,各表之間存在聯動關係,隨意改動可能導致工程無法啟動等嚴重後果。

        請勿手動增!刪!改!FineDB 資料庫內的任何資料!有可能造成不可修復的 BUG,需自行承擔後果。

2. 資料開發模組编辑

2.1 資料開發 ER 圖

表間關係如下所示:


2.2 fdl_dev_global_param

全局參數定義表:定義和儲存全局參數配置。

欄位名類型說明
id
varchar主鍵欄位uuid
add_timevarchar建立時間,範例:2024-03-13 16:47:50
plan_detailvarchar
createTimevarchar參數建立時間 「時間戳格式」
creatorvarchar參數建立使用者
namevarchar參數名
updateDetaillongtext修改使用者和修改時間列表
valuevarchar參數的值:靜態參數的值,動態參數的除錯值
datatypevarchar

靜態參數的類型,包含日期(DATE)、正文(STRING)、布爾(BOOLEAN)、數值(NUMBER)四

動態參數的該值為空

configlongtext動態參數的配置,包括reader和output,4.1.8.1版本新增該欄位
param_typevarchar參數類型,值域為{"DYNAMIC", "STATIC"},4.1.8.1版本新增該欄位

2.3 fdl_work_last_record

最近一次運作記錄資訊。

  • 若定時任務當天沒有運作,會存有之前運作過的最新一條記錄。

  • 若定時任務當天運作過,將新增一條運作記錄(lastRecord 欄位標記是否是最近一次運作記錄),歷史的運作記錄不會立刻刪掉。

欄位
類型說明
id
varchar主鍵欄位uuid,實體id
dirtyDataNumbigint髒資料條數
finishTimebigint任務完成時間
lastModifiedTimebigint最近修改時間
pathvarchar運作實體統計資訊和任務快照儲存路徑。值範例:dpworks/record/2024-03-13/04c51446-0053-48f3-b507-bad1bdf46592.log
sourceExecuteIdvarchar被重試的實體id,重試時有值,否則為null
startTimebigint任務開始時間
taskIdvarchar任務id
taskStatus  varchar任務運作狀態,包括初始狀態(INITIAL)、構建失敗(BUILD_FAIL)、佇列中(QUEUING)、運作中(RUNNING)、任務成功(SUCCESS)、任務執行報錯(ERROR)、任務失效(INVALID)、任務中斷(INTERRUPT)
triggerByvarchar觸發者,手動觸發為帳號;調度觸發則為調度計劃id
triggerMethodvarchar任務觸發類型,包括定時觸發(FIX_TIME)、手動觸發(MANUAL)、手動重試(MANUAL_RETRY)、時間觸發(EVENT)
triggerTime  bigint觸發時間
lastRecordbool

是否是最近一條運作記錄

範例:true

2.4 fdl_work_delete

任務刪除備份表,被刪除的任務需要記錄刪除時的任務id和任務名。

欄位
類型說明
id
varchar

主鍵欄位uuid,任務id

taskNamevarchar任務名稱

2.5 fdl_plan_calendar

調度日曆 表,儲存使用者上傳的調度日曆。

欄位
類型說明
idvarchar主鍵欄位uuid,實體id
namevarchar日曆名稱
filenamevarchar匯入日曆時檔案名稱
dateslongtext日曆日期
startTimebigint日曆開始時間
endTimebigint日曆結束時間
quartz_calendar_namevarcharQUARTZ_CALENDAR表中的日曆名
timezone_idvarchar時區

2.6 fdl_plan_schedule

定時/事件調度、單一/批量調度表,包括四種情況,簡單說明:

plan_detail 列的 type 欄位schedule_type 列的 TIME 值schedule_type 列的 EVENT 值(4.1.11.1及之後版本棄用該欄位)
WORK_SCHEDULE_PLAN單任務排程管理單任務事件調度
SCHEDULE_PLAN批量任務排程管理批量任務事件調度

fine_plan_schedule 表結構如下表所示:

欄位
類型說明
idvarchar主鍵欄位uuid
add_timevarchar建立時間
plan_detailvarchar

值範例:

{

    "id": "82606bf6-4ccf-4ba9-907a-3b417334511e", //計劃id

    "name": "調度1-定時B", //計劃名

    "type": "WORK_SCHEDULE_PLAN" //計劃類型:單任務計劃:WORK_SCHEDULE_PLAN;批量計劃:SCHEDULE_PLAN

}

plan_idvarchar計劃id
schedulelongtext

調度配置-排程管理:

欄位
含義
id調度id,值等於表中的schedule_id
scheduleOpen是否開啟調度
startTime調度開始時間
frequency

調度的執行頻率配置:

type
含義
0未開啟
1只執行一次
2簡單重複執行
3明細頻率設定
4運算式設定
endTime調度結束時間
type調度的類型,TIME代表排程管理
calendar調度日曆
調度配置-事件調度(4.1.11.1 及之後版本棄用):
欄位含義
id
調度id
scheduleOpen是否開啟調度
dependentTasks依賴的任務列表
condition執行條件
type調度的類型,EVENT代表事件調度
schedule_idvarchar調度id(事件調度沒有該欄位)
schedule_typevarchar

調度類型:

  • 4.1.11.1 之前版本:包括排程管理(TIME)、事件調度(EVENT

  • 4.1.11.1 及之後版本:排程管理(TIME)

business_Typeint業務類型

2.7 fdl_plan_work

計劃(不區分排程管理和事件調度)和任務的對應關係表,一個計劃可以對應多個任務。

4.2.5.1 之前版本,名稱為 fine_dp_plan_work ;4.2.5.1 及之後版本,fine_dp_plan_work 表被棄用。

欄位
類型說明
idvarchar主鍵欄位uuid
plan_idvarchar執行計劃id
work_idvarchar任務id
work_typevarchar任務類型,比如定時任務(TIMING)

2.8 fdl_exec_record_trigger

能觸發 事件調度 的記錄表。


欄位
類型說明
idvarchar記錄id
task_idvarchar任務id
task_statusvarchar

任務狀態(必須是完成狀態

範例資料:SUCCESS

last_modified_timelong

最後修改時

範例資料:1721704150000

task_group_listvarchar已經觸發的任務組列表

2.9 fdl_schedule

事件調度基礎資訊表。

欄位
類型說明
idvarchar計劃id
namevarchar計劃名
add_timelong新增時間;可根據新增時間排序
descriptionvarchar描述
statusvarchar調度狀態;有三種狀態:OPEN/CLOSE/ABNORMAL

2.10 fdl_task_group

事件調度任務組表。

欄位
類型說明
id
varchar任務組id
plan_idvarchar計劃id
namevarchar任務組名
statusvarchar任務組狀態:OPEN/CLOSE
judgementvarchar

判斷條

{

    "type":TIMING/REALTIME

    "condition": {

        "type":"judge",

        "conditionCompareType":"DATE_AFTER",

        "valueType":"DATE",

        "source": {

            "type":"field",

            "value":"taskFinishTime",

        },

        "target":{

            "type": "DATE_INTERVAL",

            "value": {

                "num": 1,

                "unit": "DAY"

            }

        }

    }

    "timing":{

        "id": "0f3c2bb9-498a-4bf0-991b-545aa13a41d3", //實際為任務組id

        "scheduleOpen": true, //是否開啟調度;預設為true

        "startTime": {  //調度開始時間

            "value": "2024-03-13 18:22:19"

        },

        "frequency": {   //調度的執行頻率配置

            "type": 1,

            "value": null

        },

        "endTime": {  //調度結束時間

            "type": 1,

            "value": null

        },

        "type": "TIME", //調度的類型,TIME代表排程管理

        "calendar": {

            "open": false,

            "calendarId": ""

        }

    }  

    once:true,//是否只使用一次

    status:"SUCCESS" //可以觸發下游任務組的任務狀態;SUCCESS/FINISHED

}

2.11 fdl_task_map_group

任務和任務組的映射表。任務組說明請參見:事件調度

欄位
類型說明
idvarchar任務id
group_idvarchar任務組id

2.12 fine_dp_task_group_relation

任務組之間的關係表。

欄位
類型說明
idvarchar關係id
from_idvarchar任務組關係的來源端
to_idvarchar任務組關係的目標端
plan_idvarchar計劃id

3. 資料管道编辑

3.1 資料管道 ER 圖

表間關係如下所示:


3.2 fdl_pipe_src_info_define

管道源端資訊表

欄位
類型說明
id
varchar任務D
connection_typevarchar連結類型
connection_namevarchar連結名稱
read_modevarchar讀取模式
sync_typevarchar同步方式
incremental_sync_pointvarchar僅增量起點

3.3 fdl_pipe_src_table_define

源端的表資訊。

欄位
類型說明
id
varchar管道任務中源表的id
task_idvarchar任務id
target_table_idvarchar目標表id
fdl_databasevarchar庫名
fdl_schemavarchar模式名
fdl_tablevarchar表名
full_sync_finishedboolean是否同步完成
fdl_invalidboolean表是否失效
fdl_columnsvarchar欄位資訊

3.4 fdl_pipe_target_info_define

管道目標端資訊表。

欄位
類型說明
id
varchar任務ID
connection_typevarchar連結類型
connection_namevarchar連結名稱
fdl_databasevarchar資料庫名稱
fdl_schemavarchar模式名稱
read_modevarchar讀取模式
source_change_strategyvarchar刪除策略:邏輯刪除、物理刪除
update_timestamp_columnboolean是否開啟時間欄位
apply_ddlboolean應用ddl
enable_high_speed_loadboolean是否啟動高速裝載
enable_no_primaryboolean是否開啟無主鍵同步

3.5 fdl_pipe_dest_table_define

管道目標表配置。

欄位
類型說明
id
varchar管道任務中源表的id
task_idvarchar任務id
fdl_databasevarchar庫名
fdl_schemavarchar模式名
fdl_tablevarchar表名
to_table_modevarchar建表類型
fdl_columnsvarchar欄位資訊
advanced_configvarchar額外資訊
to_table_typevarchar目標表的表類型
to_table_commentvarchar目標表的註釋

3.6 fdl_pipe_group_define

管道任務分組配置。

欄位
類型說明
id
varchar主鍵,隨機的uuid
task_idvarchar任務id
namevarchar分組名稱
fdl_columnsvarchar欄位資訊

3.7 fdl_pipe_table_group_define

欄位
類型說明
idvarchar主鍵,隨機的uuid
task_idvarchar任務id
group_idvarchar分組id
column_name_mapvarchar欄位映射

3.8 fdl_pipe_table_map_define

管道任務映射資訊。

欄位
類型說明
id
varchar主鍵,隨機的uuid
task_idvarchar任務id
source_idvarchar分組id
target_idvarchar欄位映射
map_typevarchar

映射方式:按行映射、按名稱映射

table_map_typevarchar

映射類型:表到表、分組表到表

3.9 fdl_pipe_savepoint

管道任務斷點記錄,用來斷點續傳。

欄位
類型說明
idvarchar

記錄ID

task_idvarchar任務id
typevarchar斷點類型
upgradelongtext升級斷點
valuelongtextJSON 格式,實際斷點儲存的值,不同類型的斷點儲存的值不同
incremental_timestampbigint增量開始時間

3.10 fdl_pipe_table_record

管道任務執行記錄與統計表

部分是表級的記錄(下表中欄位名為綠色),任務級別的記錄由表級匯總得到。部分是任務級別的(下表中欄位名為灰色)。

欄位
類型說明
idvarchar任務id或源表id
delete_record_countbigint刪除行數(表級)
delete_trafficbigint刪除資料量(單位Byte)
error_record_countbigint失敗行數
insert_record_countbigint插入行數
insert_trafficbigint插入資料量(單位Byte)
last_log_timebigint上一次任務記錄時間
last_read_timebigint上次讀取時FDL伺服器的時間
last_start_timebigint上一次任務啟動時間
last_write_timebigint上次寫入時FDL伺服器的時間
read_record_countbigint讀取行數
read_total_trafficbigint讀取資料量(單位Byte)
table_full_namevarchar來源表的完整名稱
task_idvarchar任務id
to_sync_record_countbigint待同步行數
to_sync_trafficbigint待同步資料量(單位Byte)
typevarchar記錄的類型,是表還是任務;4.2.1.1 及之後版本棄用
update_record_countbigint更新行數
update_trafficbigint更新資料量(單位Byte)
work_durationbigint任務實際工作時長(若任務中途有中斷,則中斷時間不會統計在內);4.2.1.1 及之後版本棄用
last_massage_read_timebigint上次讀取時對應的日誌在資料庫中的時間
last_massage_write_timebigint上次寫入時對應的日誌在資料庫中的時間
status
varchar(255)表狀態

3.11 fdl_pipeline_task_record

管道任務的運作資訊表(任務級別)。

欄位
類型說明
idvarchar(255)任務id
statusvarchar(255)任務的運作狀態
firstStartTimebigint首次啟動時間
createTimebigint建立時間
udpateTimebigint更新時間
workNodeIdvarchar(255)運作節點
lastStartTimebigint最近一次啟動時間
startMessagelongtext啟動資訊
noticeboolean是否提示

3.12 fine_dp_pipeline_dirty

管道任務中如果擷取到髒資料後,會將髒資料的基本資訊儲存在這個表中。

欄位名稱
類型說明
idvarchar(255)髒資料id,唯一標識一條髒資料
error_paramsvarchar不再使用
error_typevarchar(255)髒資料的異常類型 enum 的名稱
fdl_offsetbigint髒資料在指定topic的offset
primary_keyvarchar(1024)

主鍵資訊,一個json字串。

例子:

{

 "before": "更新前主鍵",

 "after": "更新後主鍵"

}

task_idvarchar(255)任務id
task_table_idbigint表id
timestampbigint髒資料擷取時間
fdl_topicvarchar(255)髒資料所在的topic
fdl_codeint該欄位用來記錄髒資料的一些標籤位,長度為32位,也就可以標記32個不同狀態
目前從右往左的前三位按序用來標記,插入、刪除、更新
其中主鍵更新的髒資料會被視為刪除+插入,對應的code二進制code就是11
error_messagevarchar(2048)報錯java堆疊異常的errormessage
fdl_extralongtext額外的資訊,比如錯誤堆疊,當前資料對應的斷點資訊等等,透過json格式進行儲存

4. 資料服務编辑

4.1 資料服務 ER 圖

表間關係如下:


4.2 fine_dp_service_app

資料服務應用配置表。

欄位
類型說明
idvarchar主鍵欄位uuid;無實際作用
appIdvarchar應用id
authInfolongtext

認證資訊

範例資料:

{

  "authType": "EmptyAuth",  // 當前生效的認證類型

  "authConfig": [ //認證的具體配置

    {

      "type": "EmptyAuth"   // 無認證

    },

    {

      "code": "AppCode a25787ba-fd6c-4f23-b46a-8b148c2ab1a9",

      "type": "AppCodeAuth"  // APPCode認證

    },

    {

      "secret": "",

      "type": "DigestSignatureAuth"  // 摘要認真

    }

  ],

  "type": "Auth"

}

creatorvarchar建立帳號
descriptionvarchar應用描述
versionvarchar版本

4.3 fine_dp_service_catalog

資料服務的目錄表,具體結構和fine_dp_conf_entity_x類似。

欄位
類型說明
idvarchar主鍵欄位uuid;無實際作用
entity_keyvarchar版本+任務id作為key,在子表空間內是唯一的
namespacevarchar

命名空

DataServiceAppCatalogDO  // 應用

DataServiceAPICatalogDO  // API

value_classvarcharentity_value序列化對應的實體類
entity_valuelongtextjson格式的配置資訊

不同 namespace 對應的明細:

namespace說明

DataServiceAPICatalogDO(API目錄)

4.0.27 及之後版本

欄位
含義
idapi任務/資料夾的id
pid父資料夾的id
name名稱
createTime建立時間
type類型:
  • ENTITY:api任務

  • PACKAGE:資料夾

recycleBinDO

4.1.9.3 及之後版本,新增該欄位

回收站資訊
DataServiceAppCatalogDO(應用目錄)
欄位
含義
id應用/資料夾的id
pid父資料夾的id
name應用/資料夾的名稱
createTime建立時間
type

類型:

  • ENTITY:應用

  • PACKAGE:資料夾

4.4 fine_dp_service_mapping

應用和API的聯動表。

欄位
類型說明
idvarchar主鍵欄位uuid;無實際作用
apiIdvarcharAPI的ID
appIdvarchar應用ID
expireTimebigint

有效期

  • -1表示無限制

  • 其他值代表對應的時間戳

rateLimitvarchar

存取限制:

欄位
含義
limitCount單位時間內允許多少個存取請求
  • -1表示無限制

  • 其他值代表對應的限制個數

timeUnit

時間單位

  • MINUTES:分鐘

  • HOURS:小時

  • DAYS:天

範例資料:頻率最大100次/分鐘

{

  "limitCount": 100,   // 單位時間最大存取次數

  "timeUnit": "HOURS", // 時間單位

  "type": "RateLimit"

}

4.5 fine_dp_service_task

API配置表。

欄位
類型說明
idvarchar主鍵欄位uuid;無實際作用
taskIdvarcharAPI的ID
taskTypevarchar冗餘欄位;目前未實際使用
taskDetaillongtextAPI配置資訊
requestPathvarcharapi路徑
requestMethodvarchar請求方法:post、get
isOnlinebit是否上線:1-上線,0-下線
isAuthActivebit目前未實際使用
descriptionvarcharAPI描述
timeoutbigint逾時時間
versionvarchar版本
requestContentTypevarchar請求體類型

5. 庫表管理编辑

5.1 庫表管理ER圖


5.2 fine_datacenter_sql_script

SQL 腳本管理表:儲存使用者儲存的 SQL 腳本資料。

欄位
類型說明
idvarchar主鍵欄位uuid
connectionvarchar所屬資料連結
last_loglongtext最近一次日誌,內容是日誌物件json序列化後的字串
contentlongtext腳本內容
create_timebigint腳本建立時間戳
namevarchar腳本名稱
last_modified_timebigint腳本更新時間戳

5.3 fine_datacenter_updatelog

SQL腳本管理表:儲存使用者儲存的sql腳本資料

欄位類型說明
idvarchar主鍵欄位uuid
script_idvarchar這條更新記錄對應的腳本id
editorvarchar更新人
modified_timebigint更新時間

6. 公共模組编辑

6.1 公共模組 ER 圖

表間關係如下:


6.2 fine_dp_general_config

通用配置 表:定義和儲存通用配置(基於資料連結,定義大小寫轉換規則)。

欄位
類型說明
idvarchar主鍵欄位uuid
configlongtext

資料連結名和對應的大小寫轉換規則,目前 transformation 包含全部轉大寫(UPPER_CASE)、全部轉小寫(LOWER_CASE

範例資料:

{"transformation":"UPPER_CASE","connections":["local_fdl_data"]}

create_timebigint配置建立時間
typevarchar通用配置類型,暫時只有AUTO_CREATE_TABLE_CASE
update_timevarchar配置修改時間

6.3 fine_dp_operate_history

最近編輯記錄表:包括資料開發、資料管道模組的最近標記記錄。

欄位
類型說明
idvarchar主鍵欄位uuid
operate_timebigint編輯時間
operate_typevarchar編輯類型,包括建立(CREATE)、刪除(DELETE)、修改(EDIT)
operate_uservarchar編輯使用者
task_idvarchar任務id
task_namevarchar任務名
task_pathvarchar任務路徑
task_typevarchar任務類型,包括資料開發(DATA_DEVELOP)、資料管道(PIPELINE_DEVELOP)

6.4 fine_dp_lineage_node

血緣節點表:

欄位名
說明
id主鍵
graph_id圖id
resource_id對應的業務資源id
group_id節點分組id
resource_info對應的業務資源資訊

6.5 fine_dp_lineage_edge

血緣節點關係表:

欄位名
說明
id主鍵
source_id父節點id,外鍵,對應於fine_dp_lineage_node的id
target_id子節點id,對應於fine_dp_lineage_node的id
graph_id圖id

6.6 fine_dp_lineage_sql

解析失敗的SQL記錄表,當SQL解析失敗時,記錄在當前表裏,目前僅做記錄。

6.7 fine_dp_lineage_event

血緣非同步更新佇列表,暫存未處理的事件。

欄位
類型說明
idVARCHAR主鍵

entity_id

VARCHAR事件相聯動的業務實體主鍵,比如定時任務id
entity_typeVARCHAR

業務實體類型:

  • DEV_WORK:定時任務

  • PIPELINE:管道任務

  • SERVICE_API:資料服務API

status
INTEGER事件狀態:
  • 未處理:0

  • 處理中:1

event_typeVARCHAR

事件類型:

  • UPDATE:更新事件

  • DELETE:刪除事件

create_timeLONG建立時間,佇列根據這個欄位來保證順序

6.8 fdl_center_event_offset

該表用於記錄事件中心的偏移資訊

欄位名
類型描述
id
varchar主鍵ID
handler_typevarchar處理器類型
event_offsetbigint事件偏移

6.9 fdl_connection_lineage

該表用於資料連結和任務的血緣關係

欄位名
類型描述
idvarchar主鍵ID
resource_idvarchar資源ID
connection_idvarchar連結ID
resource_typevarchar資源類型
publish_statevarchar發佈狀態
create_timebigint建立時間
resource_infovarchar資源資訊

7. 資料開發-實時任務编辑

7.1 fdl_stream_savepoint

實時任務的斷點資訊。

欄位
類型說明
idvarcharuuid
create_timelong建立時間
operator_idvarchar斷點對應資料源算子Id
typevarchar資料源類型
update_timelong更新時間
valuevarchar

儲存的斷點數

共享中斷點具體資料也存在這裏

work_idvarchar任務ID

7.2 fdl_stream_work_record

任務執行記錄表,任務每一次運作都會產生一條執行記錄資訊

欄位
類型說明
idvarchar主鍵欄位UUID
dirtyDataNumlong髒資料數量
finishTimelong任務完成時間,範例資料:1732069683683
recordIdvarchar運作記錄ID
startTimelong任務啟動時間
statusint任務狀態;0~3分別表示啟動失敗,運作失敗,手動暫停,運作中
stopByvarchar終止任務的使用者
triggerByvarchar觸發任務的使用者
triggerMethodint任務的啟動類型;0~1分別表示啟動和重置啟動
workIdvarchar任務ID
pathvarchar任務詳情資料所在檔案路徑
engine_type_namevarchar執行任務的引擎名稱
worker_node_idvarchar叢集節點名稱

7.3 fdl_stream_task_status

實時任務狀態表,記錄一些實時任務本身的狀態資訊

欄位
類型說明
id
varcharuuid
fisrt_start_timelong任務首次啟動時間
last_start_timelong任務上次啟動時間
statusvarchar任務狀態
work_idvarchar任務id作為key

8. 資料檢查任務编辑

8.1 資料檢查ER圖

 


8.2 fine_detection_record

最近一條運作記錄表:儲存最近一次運作記錄以及運作記錄構建後的初始快照。

欄位
類型說明
idvarchar主鍵欄位uuid,該欄位非主鍵
work_idvarchar任務id
start_timelong開始時間
finsh_timelong結束時間
statusvarchar

資料檢查任務運作狀態

BUILDING-構建中;

BUILD_FAIL-構建失敗;

PASS-透過;

NOT_PASS-不透過;

ERROR-運作失敗

INVALID-失效;

INTERRUPT-中斷;

RUNNING-運作中;

QUEUEING-佇列中)

trigger_methodvarchar

觸發方式

(FIX_TIME-定時;MANUAL-手動)

trigger_byvarchar觸發者
trigger_timelong觸發時間
failed_table_countlong未透過表數量
total_table_countlong檢查表總數
last_modified_timelong
last_recordboolean是否是最近一條運作記錄
pathvarchar日誌檔案儲存路徑;路徑為資料夾,資料夾下存放有日誌檔案和快照檔案

8.3 fine_detection_work

資料檢查任務配置表,任務目錄、訊息通知配置。

欄位
類型說明
id
varchar主鍵欄位uuid
work_idvarchar任務id作為key
versionvarchar任務的版本號
project_versionvarchar工程版本號
namespacevarchar命名空間,用來區分子表的
valuelongtext不同實體的具體json配置
create_timelong建立時間
update_timelong更新時間

8.4 fine_detection_global_rule

全局規則定義表:定義和儲存全局規則配置。

欄位
類型說明
idvarchar主鍵欄位uuid
namevarchar規則名
ruleTypevarchar規則類型;值範例:TABLE/COLUMN,含義為表級/欄位級
detection_objectvarchar檢查物件
rangevarchar預期範圍
rulelongtext詳細配置
creatorvarchar建立者
createTimelong建立時間
updateDetailvarchar修改記錄

8.5 fine_detection_relation

任務和全局規則引用關係表:儲存任務和全局規則的引用關係(N:N)。

欄位
類型說明
idvarchar主鍵欄位uuid
work_idvarchar任務id
rule_idvarchar規則id

9. 應用複用模組编辑

9.1 fine_dp_migration_trace

維護任務 id 和 forkId 的關係,涉及功能:檢查任務-校驗資料是否合法

欄位
類型說明
idvarchar主鍵欄位uuid
resource_idvarchar資源id
resource_typevarchar資源類型;可以是定時任務,也可以是調度計劃
fork_idvarchar對 FDL 無用

10. fine_conf_entity编辑

具體表結構說明請參見:配置資訊儲存表

本章節只記錄 FDL 相關欄位:

4.1.9.3 及之後版本,fine_conf_entity 表新增欄位 FDLIntegrationConfig.previewCache,值預設為 false;為 true 時代表開啟算子/節點的預覽快取,下一次預覽直接展示上次快取結果。

11. 資料源模組编辑

11.1 fine_connection_catalog

資料連結的目錄表。

欄位
類型說明
id
varchar主鍵欄位uuid
entity_keyvarchar資料連結名(無id) or 目錄id 
namespacevarchar命名空間
value_classvarcharentity_value序列化對應的實體類
entity_valuevarcharjson格式的配置資訊

11.2 fine_test_connection

資料源測試連結結果表。

欄位
類型說明
idvarchar主鍵欄位uuid
entity_keyvarchar資料連結名
entity_valuelongtextjson格式的配置資訊

12. 公用表编辑

公用表是不同模組一起使用的表,表內部透過 resource_type 區分不同模組資料,resource_id 代表業務 id。

12.1 fdl_catalog 目錄表

欄位名
欄位類型說明
id
varchar主鍵
catalog_typevarchar

目錄節點類型:

  • ENTITY – 檔案

  • PACKAGE – 資料夾

namevarchar節點名稱
pidvarchar父節點id
descriptionvarchar描述
sort_indexvarchar排序
resource_idvarchar資源id,比如定時任務id等
resource_typevarchar

資源類型,每個業務模組根據這個欄位區

PIPELINE:資料管道

DATA_SERVICE_API:資料服務API

DATA_SERVICE_APP:資料服務應用

DETECTION:資料檢查任務

OFFLINE:定時任務

STREAM:實時任務

create_uservarchar節點建立使用者id
create_timevarchar建立時間

1.2 fdl_recyclebin 回收站表

欄位名
欄位類型說明
idvarchar主鍵
namevarchar回收的資源名稱,比如定時任務名稱
pathvarchar資源刪除之前的目錄
resource_idvarchar資源id,比如定時任務id等
resource_typevarchar資源類型,每個業務模組根據這個欄位區分
create_uservarchar資源的建立使用者id
delete_uservarchar刪除資源的使用者id
delete_timevarchar刪除時間

12.3 fdl_work_info 任務資訊表

欄位名
欄位類型
說明備註
id
varchar唯一標識欄位
resource_idvarchar資源id(work_id)
resource_typevarchar資源類型,用於區分模組,即定時任務、實時任務、管道任務、API、應用、檢查任務等
namevarchar任務名
create_timelong建立時間的時間戳
create_uservarchar建立者userId
descriptionvarchar任務描述
update_timelong任務配置更新時間

updateTime僅記錄配置更新時間

  • 離線任務記錄畫布更新時間,更新任務控制不會更新這個時間

12.4 fdl_work_status 任務狀態表

欄位
類型說明
id
varchar唯一標識欄位
resource_idvarchar資源id(work_id)
resource_typevarchar資源類型
typevarchar狀態類型,用於差別於不同模組的不同類型狀態。以定時任務為例:定時任務有着發佈狀態和校驗狀態兩種
statusvarchar狀態值

12.5 fdl_control_define 開發版本任務控制表

欄位
類型說明
id
varchar唯一標識欄位
resource_idvarchar資源id(work_id)
resource_typevarchar資源類型
controlvarchar控制值,包含任務的所有控制值的 json 資料

12.6 fdl_version_info

版本資訊表,儲存版本發佈時的基本資訊。

欄位
類型說明
id
varchar唯一標識欄位
resource_idvarchar資源id(work_id)
resource_typevarchar資源類型
versionvarchar版本號、1-N
publish_uservarchar發佈者,userId
publish_timelong發佈時間
descriptionvarchar發佈描述

12.7 fdl_control_version

任務控制版本表。

欄位
類型說明
id
varchar唯一標識欄位
resource_idvarchar資源id(work_id)
resource_typevarchar資源類型
controlvarchar控制值,包含任務的所有控制值的 json 資料
versionvarchar版本號

12.8 fdl_control_deploy

部署版本任務控制表。

欄位
類型說明
id
varchar唯一標識欄位
controlvarchar控制值,包含任務的所有控制值的 json 資料
delopy_timelong最近一次部署時間
deploy_uservarchar部署者,userId
resource_idvarchar資源id(work_id)
resource_typevarchar資源類型

12.9 fdl_conf_entity_x

公共配置表,包括當前版本、是否還原等

欄位
類型說明
idvarchar主鍵欄位uuid
entity_keyvarchar版本+任務id作為key,在子表空間內是唯一的
namespacevarchar命名空間,用來區分子表的
value_classvarchar子表對應的序列化實體類
entity_valuelongtext不同實體的具體json配置
is_deleted、is_segment、key_class、segment_length、timestamp、values_index、values_length 欄位已被廢棄

其中以namespace為子表名,entity_value(json格式)為子表欄位和資料詳細範例資料:

namespace
entity_value範例資料
DPFineDBVersionStore{

    "version": "4.1.5.5" //當前版本號,必須欄位

}

DPFineBackupStore"true"/"false"

13. 資料檢查编辑

13.1 資料檢查ER圖

9.png

13.2 fdl_detection_work

資料檢查任務配置表,任務目錄、訊息通知配置。

欄位
類型說明
idvarchar主鍵欄位uuid
work_idvarchar任務id
project_versionvarchar配置的版本號
task_detaillongtext任務的具體配置,json格式
create_timelong建立時間
create_uservarchar建立使用者
update_timelong更新時間

13.3 fdl_detection_global_rule

全局規則定義表:定義和儲存全局規則配置

欄位
類型說明
id
varchar主鍵欄位uuid
namevarchar規則名
rule_typevarchar規則類型
detection_objectvarchar檢查物件
rule_rangevarchar預期範圍
rule_detaillongtext詳細配置
creatorvarchar建立者
create_timelong建立時間
update_detailvarchar修改記錄

13.4 fdl_detection_relation

任務和全局規則引用關係表:儲存任務和全局規則的引用關係(N:N)。

欄位
類型說明
id
varchar主鍵欄位uuid
work_idvarchar任務id
rule_idvarchar規則id

13.5 fdl_detection_record

最近一條運作記錄表:儲存最近一次運作記錄以及運作記錄構建後的初始快照。

欄位
類型說明
idvarcharuuid
work_idvarchar任務id
start_timelong開始時間
finsh_timelong結束時間
statusvarchar

資料檢查任務運作狀態

(BUILDING-構建中;BUILD_FAIL-構建失敗;PASS-透過;NOT_PASS-不透過;ERROR-運作失敗;INVALID-失效;INTERRUPT-中斷;RUNNING-運作中;QUEUEING-佇列中)

trigger_methodvarchar觸發方式

(FIX_TIME-定時;MANUAL-手動)

trigger_byvarchar觸發者
trigger_timelong觸發時間
failed_table_countlong未透過表數量
total_table_countlong檢查表總數
last_modified_timelong
last_recordboolean是否是最近一條運作記錄
pathvarchar

日誌檔案儲存路徑

路徑為資料夾,資料夾下存放有日誌檔案和快照檔案

14. 實時共享中心编辑

14.1 fine_rtc_task_config

每個採集任務會有一些配置資料需要持久化儲存。

欄位名
類型說明
id
varchar採集任務id
namevarchar採集任務名稱
connectionvarchar資料連結名稱
read_modevarchar採集模式,即採集器的類型
create_timeBIGINT採集任務建立時間
worker_node_idvarchar採集任務當前運作或最近一次運作的叢集節點id
disabledBOOLEAN採集任務是否已禁用

15. 資料清理编辑

15.1 資料清理ER圖


15.2 fdl_data_cleaning_rule

全局清洗規則實體表:定義和儲存全局清洗規則

欄位
類型說明
idvarchar主鍵欄位uuid
namevarchar全局清洗規則名稱
create_timelong規則建立時間
create_uservarchar規則建立者
modify_detailvarchar規則修改明細
rule_entitylongtext規則配置明細字串
rule_signaturevarchar規則簽章

15.3 fdl_data_cleaning_refer

業務引用規則明細:儲存業務中任務對全局清洗規則的引用

欄位
類型說明
idvarchar主鍵欄位uuid
rule_idvarchar清洗規則id
task_idvarchar業務任務id
task_infovarchar業務任務資訊
task_namespacevarchar業務任務命名空間

16. 資料源模組编辑

16.1 fine_connection_catalog

資料連結的目錄表

欄位
類型說明
idvarchar主鍵欄位uuid
entity_keyvarchar資料連結名(無id) or 目錄id 
namespacevarchar命名空間
value_classvarcharentity_value序列化對應的實體類
entity_valuelongtextjson格式的配置資訊

16.2 fine_test_connection

資料源測試連結結果表

欄位
類型說明
idvarchar主鍵欄位uuid
entity_keyvarchar資料連結名
entity_valuelongtextjson格式的配置資訊

17. 定時管道任務编辑

17.1 ER 圖

17.1 fdl_offline_pipe_src_info

定時管道來源配置資訊。

4.2.8.1 版本新增。

欄位
類型說明
idvarchar主鍵ID
connection_typevarchar連結類型
connection_namevarchar連結名稱
dm_connection_idvarchar資料管理連結ID

17.2 fdl_offline_pipe_dest_info

定時管道目標配置資訊表。

4.2.8.1 版本新增。

欄位類型說明
idvarchar主鍵ID
connection_typevarchar連結類型
connection_namevarchar連結名稱
fdl_databasevarchar資料庫名稱
fdl_schemavarchar模式名稱
add_update_timestamptinyint是否新增更新時間戳欄位
load_typevarchar載入類型

17.3 fdl_offline_pipe_table_map

基礎的映射資訊表。

4.2.8.1 版本新增。

欄位類型說明
idvarchar主鍵ID
task_idvarchar任務ID
map_typevarchar列映射類型
create_timebigint建立時間

17.4 fdl_offline_pipe_src_table

定時管道源表定義表。

4.2.8.1 版本新增。

欄位
類型說明
idvarchar主鍵ID
task_idvarchar任務ID
fdl_databasevarchar資料庫名稱
fdl_schemavarchar模式名稱
fdl_tablevarchar表名稱
fdl_columnstext欄位資訊

17.5 fdl_offline_pipe_dest_table

 定時管道目標表定義表。

4.2.8.1 版本新增。

欄位
類型說明
idvarchar主鍵ID
task_idvarchar任務ID
fdl_databasevarchar資料庫名稱
fdl_schemavarchar模式名稱
fdl_tablevarchar表名稱
to_table_modevarchar目標表模式(自動建表/已存在表)
fdl_columnstext欄位資訊
to_table_commentvarchar目標表註釋

17.6 fdl_offline_pipe_fine_app

應用資料源表資訊。

4.2.8.1 版本新增。

欄位
類型說明
idvarchar主鍵ID
task_idvarchar任務ID
display_namevarchar顯示名稱
table_typevarchar表類型(全量表/增量表)
sub_Tabletinyint是否子表
parent_table_idtext父表ID
parent_fieldtext父表欄位
main_table_idtext主表ID
begin_offsetbigint初始偏移
fdl_offsetbigint當前偏移
sub_table_methodvarchar子表處理方式

17.7 fdl_offline_pipe_log_record

定時管道日誌記錄表。

4.2.8.1 版本新增。

欄位
類型說明
idvarchar主鍵ID
task_idvarchar任務ID
exec_idvarchar執行ID
source_table_idvarchar源表ID
log_typevarchar日誌類型(任務配置、任務啟停等)
log_levelvarchar日誌級別(INFO、WARN、ERROR等)
log_classvarchar日誌類別(任務級日誌、表級日誌等)
descvarchar日誌描述
detailtext日誌詳情

17.8 fdl_offline_pipe_ins_rec

維運記錄表。

4.2.8.1 版本新增。

欄位
類型說明
idvarchar主鍵ID(使用運作id作為主鍵)
work_idvarchar工作ID
start_timebigint開始時間
finish_timebigint結束時間
consume_timebigint消耗時間
instance_statusvarchar運作記錄狀態
trigger_methodvarchar觸發方式
trigger_byvarchar觸發來源
total_table_countint同步表總數
last_recordtinyint是否最後記錄
table_detailtext表詳細資訊

17.9 fdl_offline_pipe_ins_rec

維運記錄表。

4.2.8.1 版本新增。

欄位
類型說明
idvarchar主鍵ID
work_idvarchar工作ID
start_timebigint開始時間
finish_timebigint結束時間
consume_timebigint消耗時間
instance_statusvarchar實體狀態
trigger_methodvarchar觸發方式
trigger_byvarchar觸發來源
dirty_countint髒資料數量
error_table_countint錯誤表數量
table_detailtext表詳細資訊