FineDB表结构- FineDataLink帮助文档

文档创建者：Roxy

历史版本：58

最近更新：Wendy123456 于 2025-10-21

提示:

本文内容适用于 4.2.5.1 及之后版本；4.2.5.1 之前版本请参见：历史版本

1. 概述

本文主要介绍 FDL 相关的 FineDB 表结构，平台相关的 FineDB 表结构请参见：FineDB 表结构

注1：由于外接数据库的类型不同，字段的数据类型不完全一致，本文以工程内置数据库为例，用户需自行匹配。

注2：FineDB 配置库用于存放工程配置信息，各表之间存在关联关系，随意改动可能导致工程无法启动等严重后果。

请勿手动增！删！改！FineDB 数据库内的任何数据！有可能造成不可修复的 BUG，需自行承担后果。

2. 数据开发模块

2.1 数据开发 ER 图

表间关系如下所示：

2.2 fdl_dev_global_param

全局参数定义表：定义和存储全局参数配置。

字段名	类型	说明
id	varchar	主键字段uuid
add_time	varchar	创建时间，示例：2024-03-13 16:47:50
plan_detail	varchar
createTime	varchar	参数创建时间「时间戳格式」
creator	varchar	参数创建用户
name	varchar	参数名
updateDetail	longtext	修改用户和修改时间列表
value	varchar	参数的值：静态参数的值，动态参数的调试值
datatype	varchar	静态参数的类型，包含日期（DATE）、文本（STRING）、布尔（BOOLEAN）、数值（NUMBER）四类动态参数的该值为空
config	longtext	动态参数的配置，包括reader和output，4.1.8.1版本新增该字段
param_type	varchar	参数类型，值域为{"DYNAMIC", "STATIC"}，4.1.8.1版本新增该字段

2.3 fdl_work_last_record

最近一次运行记录信息。

若定时任务当天没有运行，会存有之前运行过的最新一条记录。
若定时任务当天运行过，将添加一条运行记录（lastRecord 字段标记是否是最近一次运行记录），历史的运行记录不会立刻删掉。

字段	类型	说明
id	varchar	主键字段uuid，实例id
dirtyDataNum	bigint	脏数据条数
finishTime	bigint	任务完成时间
lastModifiedTime	bigint	最近修改时间
path	varchar	运行实例统计信息和任务快照存储路径。值示例：dpworks/record/2024-03-13/04c51446-0053-48f3-b507-bad1bdf46592.log
sourceExecuteId	varchar	被重试的实例id，重试时有值，否则为null
startTime	bigint	任务开始时间
taskId	varchar	任务id
taskStatus	varchar	任务运行状态，包括初始状态（INITIAL）、构建失败（BUILD_FAIL）、排队中（QUEUING）、运行中（RUNNING）、任务成功（SUCCESS）、任务执行报错（ERROR）、任务失效（INVALID）、任务中断（INTERRUPT）
triggerBy	varchar	触发者，手动触发为用户名；调度触发则为调度计划id
triggerMethod	varchar	任务触发类型，包括定时触发（FIX_TIME）、手动触发（MANUAL）、手动重试（MANUAL_RETRY）、时间触发（EVENT）
triggerTime	bigint	触发时间
lastRecord	bool	是否是最近一条运行记录示例：true

2.4 fdl_work_delete

任务删除备份表，被删除的任务需要记录删除时的任务id和任务名。

字段	类型	说明
id	varchar	主键字段uuid，任务id
taskName	varchar	任务名称

2.5 fdl_plan_calendar

调度日历表，保存用户上传的调度日历。

字段	类型	说明
id	varchar	主键字段uuid，实例id
name	varchar	日历名字
filename	varchar	导入日历时文件名
dates	longtext	日历日期
startTime	bigint	日历开始时间
endTime	bigint	日历结束时间
quartz_calendar_name	varchar	QUARTZ_CALENDAR表中的日历名
timezone_id	varchar	时区

2.6 fdl_plan_schedule

定时/事件调度、单一/批量调度表，包括四种情况，简单说明：

plan_detail 列的 type 字段	schedule_type 列的 TIME 值	schedule_type 列的 EVENT 值（4.1.11.1及之后版本弃用该字段）
WORK_SCHEDULE_PLAN	单任务定时调度	单任务事件调度
SCHEDULE_PLAN	批量任务定时调度	批量任务事件调度

fine_plan_schedule 表结构如下表所示：

字段

类型

说明

varchar

主键字段uuid

add_time

varchar

创建时间

plan_detail

varchar

值示例：

{

"id": "82606bf6-4ccf-4ba9-907a-3b417334511e", //计划id

"name": "调度1-定时B", //计划名

"type": "WORK_SCHEDULE_PLAN" //计划类型：单任务计划：WORK_SCHEDULE_PLAN；批量计划：SCHEDULE_PLAN

}

plan_id

varchar

计划id

schedule

longtext

调度配置-定时调度：

字段

含义

调度id,值等于表中的schedule_id

scheduleOpen

是否开启调度

startTime

调度开始时间

frequency

调度的执行频率配置：

type	含义
0	未开启
1	只执行一次
2	简单重复执行
3	明细频率设置
4	表达式设定

endTime

调度结束时间

type

调度的类型，TIME代表定时调度

calendar

调度日历

调度配置-事件调度（4.1.11.1 及之后版本弃用）：

字段	含义
id	调度id
scheduleOpen	是否开启调度
dependentTasks	依赖的任务列表
condition	执行条件
type	调度的类型，EVENT代表事件调度

schedule_id

varchar

调度id（事件调度没有该字段）

schedule_type

varchar

调度类型：

4.1.11.1 之前版本：包括定时调度（TIME）、事件调度（EVENT）
4.1.11.1 及之后版本：定时调度（TIME）

business_Type

int

业务类型

2.7 fdl_plan_work

计划（不区分定时调度和事件调度）和任务的对应关系表，一个计划可以对应多个任务。

4.2.5.1 之前版本，名称为 fine_dp_plan_work ；4.2.5.1 及之后版本，fine_dp_plan_work 表被弃用。

字段	类型	说明
id	varchar	主键字段uuid
plan_id	varchar	执行计划id
work_id	varchar	任务id
work_type	varchar	任务类型，比如定时任务（TIMING）

2.8 fdl_exec_record_trigger

能触发事件调度的记录表。

字段	类型	说明
id	varchar	记录id
task_id	varchar	任务id
task_status	varchar	任务状态（必须是完成状态）示例数据：SUCCESS
last_modified_time	long	最后修改时间示例数据：1721704150000
task_group_list	varchar	已经触发的任务组列表

2.9 fdl_schedule

事件调度基础信息表。

字段	类型	说明
id	varchar	计划id
name	varchar	计划名
add_time	long	添加时间；可根据添加时间排序
description	varchar	描述
status	varchar	调度状态；有三种状态：OPEN/CLOSE/ABNORMAL

2.10 fdl_task_group

事件调度任务组表。

字段	类型	说明
id	varchar	任务组id
plan_id	varchar	计划id
name	varchar	任务组名
status	varchar	任务组状态：OPEN/CLOSE
judgement	varchar	判断条件 { "type":TIMING/REALTIME "condition": { "type":"judge", "conditionCompareType":"DATE_AFTER", "valueType":"DATE", "source": { "type":"field", "value":"taskFinishTime", }, "target":{ "type": "DATE_INTERVAL", "value": { "num": 1, "unit": "DAY" } } } "timing":{ "id": "0f3c2bb9-498a-4bf0-991b-545aa13a41d3", //实际为任务组id "scheduleOpen": true, //是否开启调度;默认为true "startTime": { //调度开始时间 "value": "2024-03-13 18:22:19" }, "frequency": { //调度的执行频率配置 "type": 1, "value": null }, "endTime": { //调度结束时间 "type": 1, "value": null }, "type": "TIME", //调度的类型，TIME代表定时调度 "calendar": { "open": false, "calendarId": "" } } once:true,//是否只使用一次 status:"SUCCESS" //可以触发下游任务组的任务状态；SUCCESS/FINISHED }

2.11 fdl_task_map_group

任务和任务组的映射表。任务组说明请参见：事件调度

字段	类型	说明
id	varchar	任务id
group_id	varchar	任务组id

2.12 fine_dp_task_group_relation

任务组之间的关系表。

字段	类型	说明
id	varchar	关系id
from_id	varchar	任务组关系的来源端
to_id	varchar	任务组关系的目标端
plan_id	varchar	计划id

3. 实时管道

3.1 实时管道 ER 图

表间关系如下所示：

3.2 fdl_pipe_src_info_define

管道源端信息表

字段	类型	说明
id	varchar	任务D
connection_type	varchar	连接类型
connection_name	varchar	连接名称
read_mode	varchar	读取模式示例数据： { "name": "Binlog", "startPoint": "", "format": "", "schemaRegistryUrl": "" }
sync_type	varchar	同步方式
incremental_sync_point	varchar	仅增量起点

3.3 fdl_pipe_src_table_define

源端的表信息。

字段	类型	说明
id	varchar	管道任务中源表的id
task_id	varchar	任务id
target_table_id	varchar	目标表id
fdl_database	varchar	库名
fdl_schema	varchar	模式名
fdl_table	varchar	表名
full_sync_finished	boolean	是否同步完成
fdl_invalid	boolean	表是否失效
fdl_columns	varchar	字段信息

3.4 fdl_pipe_target_info_define

管道目标端信息表。

字段	类型	说明
id	varchar	任务ID
connection_type	varchar	连接类型
connection_name	varchar	连接名称
fdl_database	varchar	数据库名称
fdl_schema	varchar	模式名称
delete_strategy	varchar	删除策略，目前有逻辑删除和物理删除
update_timestamp_column	boolean	是否开启时间字段
apply_ddl	boolean	应用ddl
enable_high_speed_load	boolean	是否启用高速装载
load_type	varchar	装载类型

3.5 fdl_pipe_dest_table_define

管道目标表配置。

字段	类型	说明
id	varchar	管道任务中源表的id
task_id	varchar	任务id
fdl_database	varchar	库名
fdl_schema	varchar	模式名
fdl_table	varchar	表名
to_table_mode	varchar	建表类型
fdl_columns	varchar	字段信息
advanced_config	varchar	额外信息
to_table_type	varchar	目标表的表类型
to_table_comment	varchar	目标表的注释
enable_null_compare	boolean	是否允许主键为null true：在通过主键、逻辑主键进行更新和删除的时候会考虑为null的场景 false：默认主键、逻辑主键不存在为null的场景
compare_keys	longText	比对字段
ext_columns	longText	fdl内置字段
inc_write_conf	longText	增量写入配置
full_write_conf	longText	全量写入配置
extra_config	longText	其他配置目前是批量写入配置

3.6 fdl_pipe_group_define

管道任务分组配置。

字段	类型	说明
id	varchar	主键，随机的uuid
task_id	varchar	任务id
name	varchar	分组名字
fdl_columns	varchar	字段信息

3.7 fdl_pipe_table_group_define

字段	类型	说明
id	varchar	主键，随机的uuid
task_id	varchar	任务id
group_id	varchar	分组id
column_name_map	varchar	字段映射

3.8 fdl_pipe_table_map_define

管道任务映射信息。

字段	类型	说明
id	varchar	主键，随机的uuid
task_id	varchar	任务id
source_id	varchar	分组id
target_id	varchar	字段映射
map_type	varchar	映射方式：按行映射、按名称映射
table_map_type	varchar	映射类型：表到表、分组表到表

3.9 fdl_pipe_savepoint

管道任务断点记录，用来断点续传。

字段	类型	说明
id	varchar	记录ID
task_id	varchar	任务id
type	varchar	断点类型
upgrade	longtext	升级断点
value	longtext	JSON 格式，实际断点保存的值，不同类型的断点保存的值不同
incremental_timestamp	bigint	增量开始时间

3.10 fdl_pipe_table_record

管道任务执行记录与统计表

部分是表级的记录（下表中字段名为绿色），任务级别的记录由表级汇总得到。部分是任务级别的（下表中字段名为灰色）。

字段	类型	说明
id	varchar	任务id或源表id
delete_record_count	bigint	删除行数（表级）
delete_traffic	bigint	删除数据量（单位Byte）
error_record_count	bigint	失败行数
insert_record_count	bigint	插入行数
insert_traffic	bigint	插入数据量（单位Byte）
last_log_time	bigint	上一次任务记录时间
last_read_time	bigint	上次读取时FDL服务器的时间
last_start_time	bigint	上一次任务启动时间
last_write_time	bigint	上次写入时FDL服务器的时间
read_record_count	bigint	读取行数
read_total_traffic	bigint	读取数据量（单位Byte）
table_full_name	varchar	来源表的完整名称
task_id	varchar	任务id
to_sync_record_count	bigint	待同步行数
to_sync_traffic	bigint	待同步数据量（单位Byte）
type	varchar	记录的类型，是表还是任务；4.2.1.1 及之后版本弃用
update_record_count	bigint	更新行数
update_traffic	bigint	更新数据量（单位Byte）
work_duration	bigint	任务实际工作时长（若任务中途有中断，则中断时间不会统计在内）；4.2.1.1 及之后版本弃用
last_massage_read_time	bigint	上次读取时对应的日志在数据库中的时间
last_massage_write_time	bigint	上次写入时对应的日志在数据库中的时间
status	varchar(255)	表状态

3.11 fdl_pipeline_task_record

管道任务的运行信息表（任务级别）。

字段	类型	说明
id	varchar(255)	任务id
status	varchar(255)	任务的运行状态
firstStartTime	bigint	首次启动时间
createTime	bigint	创建时间
udpateTime	bigint	更新时间
workNodeId	varchar(255)	运行节点
lastStartTime	bigint	最近一次启动时间
startMessage	longtext	启动信息
notice	boolean	是否提示

3.12 fdl_pipe_dirty_record

管道任务中如果捕获到脏数据后，会将脏数据的基本信息存储在这个表中。

字段名称	类型	说明
id	varchar(255)	脏数据id，唯一标识一条脏数据
error_params	varchar	不再使用
error_type	varchar(255)	脏数据的异常类型 enum 的名字
fdl_offset	bigint	脏数据在指定topic的offset
primary_key	varchar(1024)	主键信息，一个json字符串。例子： { "before": "更新前主键", "after": "更新后主键" }
task_id	varchar(255)	任务id
task_table_id	bigint	表id
timestamp	bigint	脏数据捕获时间
fdl_topic	varchar(255)	脏数据所在的topic
fdl_code	int	该字段用来记录脏数据的一些标志位，长度为32位，也就可以标记32个不同状态目前从右往左的前三位按序用来标记，插入、删除、更新其中主键更新的脏数据会被视为删除+插入，对应的code二进制code就是11
error_message	varchar(2048)	报错java堆栈异常的errormessage
fdl_extra	longtext	额外的信息，比如错误堆栈，当前数据对应的断点信息等等，通过json格式进行存储

4. 数据服务

4.1 数据服务 ER 图

表间关系如下：

4.2 fdl_service_app

数据服务应用配置表。

字段	类型	说明
id	varchar	主键字段uuid；无实际作用
path	varahar	app路径
appId	varchar	应用id
authInfo	longtext	认证信息示例数据： { "authType": "EmptyAuth", // 当前生效的认证类型 "authConfig": [ //认证的具体配置 { "type": "EmptyAuth" // 无认证 }, { "code": "AppCode a25787ba-fd6c-4f23-b46a-8b148c2ab1a9", "type": "AppCodeAuth" // APPCode认证 }, { "secret": "", "type": "DigestSignatureAuth" // 摘要认真 } ], "type": "Auth" }

4.3 fdl_service_mapping

应用和API的关联表。

字段

类型

说明

varchar

主键字段uuid；无实际作用

apiId

varchar

API的ID

appId

varchar

应用ID

expireTime

bigint

有效期：

-1表示无限制
其他值代表对应的时间戳

rateLimit

varchar

访问限制：

字段

含义

limitCount

单位时间内允许多少个访问请求

-1表示无限制
其他值代表对应的限制个数

timeUnit

时间单位

MINUTES：分钟
HOURS：小时
DAYS：天

示例数据：频率最大100次/分钟

{

"limitCount": 100, // 单位时间最大访问次数

"timeUnit": "HOURS", // 时间单位

"type": "RateLimit"

}

4.4 fdl_service_api

API 配置表。

字段	类型	说明
id	varchar	主键字段uuid
request_path	varchar	请求路径
timeout	long	超时限制
request_config	longtext	请求配置
response_config	longtext	响应配置
service_config	longtext	服务配置
task_type	varchar	类型

4.5 fdl_service_offset

存储当前 api_id 已经消费过的偏移量。

4.2.8.4 版本新增。

字段	类型	说明
id	varchar	主键字段uuid
api_id	varchar	api id
offset	long	已消费的数据 offset

5. 库表管理

5.1 库表管理ER图

5.2 fine_datacenter_sql_script

SQL 脚本管理表：存储用户保存的 SQL 脚本数据。

字段	类型	说明
id	varchar	主键字段uuid
connection	varchar	所属数据连接
last_log	longtext	最近一次日志，内容是日志对象json序列化后的字符串
content	longtext	脚本内容
create_time	bigint	脚本创建时间戳
name	varchar	脚本名称
last_modified_time	bigint	脚本更新时间戳

5.3 fine_datacenter_updatelog

SQL脚本管理表：存储用户保存的sql脚本数据

字段	类型	说明
id	varchar	主键字段uuid
script_id	varchar	这条更新记录对应的脚本id
editor	varchar	更新人
modified_time	bigint	更新时间

6. 公共模块

6.1 公共模块 ER 图

表间关系如下：

6.2 fine_dp_general_config

通用配置表：定义和存储通用配置（基于数据连接，定义大小写转换规则）。

字段	类型	说明
id	varchar	主键字段uuid
config	longtext	数据连接名和对应的大小写转换规则，目前 transformation 包含全部转大写（UPPER_CASE）、全部转小写（LOWER_CASE）示例数据： {"transformation":"UPPER_CASE","connections":["local_fdl_data"]}
create_time	bigint	配置创建时间
type	varchar	通用配置类型，暂时只有AUTO_CREATE_TABLE_CASE
update_time	varchar	配置修改时间

6.3 fine_dp_operate_history

最近编辑记录表：包括数据开发、数据管道模块的最近标记记录。

字段	类型	说明
id	varchar	主键字段uuid
operate_time	bigint	编辑时间
operate_type	varchar	编辑类型，包括创建（CREATE）、删除（DELETE）、修改（EDIT）
operate_user	varchar	编辑用户
task_id	varchar	任务id
task_name	varchar	任务名
task_path	varchar	任务路径
task_type	varchar	任务类型，包括数据开发（DATA_DEVELOP）、数据管道（PIPELINE_DEVELOP）

6.4 fine_dp_lineage_node

血缘节点表：

字段名	说明
id	主键
graph_id	图id
resource_id	对应的业务资源id
group_id	节点分组id
resource_info	对应的业务资源信息

6.5 fine_dp_lineage_edge

血缘节点关系表：

字段名	说明
id	主键
source_id	父节点id，外键，对应于fine_dp_lineage_node的id
target_id	子节点id，对应于fine_dp_lineage_node的id
graph_id	图id

6.6 fine_dp_lineage_sql

解析失败的SQL记录表，当SQL解析失败时，记录在当前表里，目前仅做记录。

6.7 fine_dp_lineage_event

血缘异步更新队列表，暂存未处理的事件。

字段	类型	说明
id	VARCHAR	主键
entity_id	VARCHAR	事件相关联的业务实体主键，比如定时任务id
entity_type	VARCHAR	业务实体类型： DEV_WORK：定时任务 PIPELINE：管道任务 SERVICE_API：数据服务API
status	INTEGER	事件状态：未处理：0 处理中：1
event_type	VARCHAR	事件类型： UPDATE：更新事件 DELETE：删除事件
create_time	LONG	创建时间，队列根据这个字段来保证顺序

6.8 fdl_center_event_offset

该表用于记录事件中心的偏移量信息

字段名	类型	描述
id	varchar	主键ID
handler_type	varchar	处理器类型
event_offset	bigint	事件偏移量

6.9 fdl_connection_lineage

该表用于数据连接和任务的血缘关系

字段名	类型	描述
id	varchar	主键ID
resource_id	varchar	资源ID
connection_id	varchar	连接ID
resource_type	varchar	资源类型
publish_state	varchar	发布状态
create_time	bigint	创建时间
resource_info	varchar	资源信息

7. 数据开发-实时任务

7.1 fdl_stream_savepoint

实时任务的断点信息。

字段	类型	说明
id	varchar	uuid
create_time	long	创建时间
operator_id	varchar	断点对应数据源算子Id
type	varchar	数据源类型
update_time	long	更新时间
value	varchar	保存的断点数据共享中断点具体数据也存在这里
work_id	varchar	任务ID

7.2 fdl_stream_work_record

任务执行记录表，任务每一次运行都会产生一条执行记录信息

字段	类型	说明
id	varchar	主键字段UUID
dirtyDataNum	long	脏数据数量
finishTime	long	任务完成时间，示例数据：1732069683683
recordId	varchar	运行记录ID
startTime	long	任务启动时间
status	int	任务状态；0~3分别表示启动失败，运行失败，手动暂停，运行中
stopBy	varchar	终止任务的用户
triggerBy	varchar	触发任务的用户
triggerMethod	int	任务的启动类型；0～1分别表示启动和重置启动
workId	varchar	任务ID
path	varchar	任务详情数据所在文件路径
engine_type_name	varchar	执行任务的引擎名称
worker_node_id	varchar	集群节点名称

7.3 fdl_stream_task_status

实时任务状态表，记录一些实时任务本身的状态信息

字段	类型	说明
id	varchar	uuid
fisrt_start_time	long	任务首次启动时间
last_start_time	long	任务上次启动时间
status	varchar	任务状态
work_id	varchar	任务id作为key

8. 数据检测任务

8.1 数据检测ER图

8.2 fine_detection_record

最近一条运行记录表：存储最近一次运行记录以及运行记录构建后的初始快照。

字段	类型	说明
id	varchar	主键字段uuid，该字段非主键
work_id	varchar	任务id
start_time	long	开始时间
finsh_time	long	结束时间
status	varchar	数据检测任务运行状态 BUILDING-构建中； BUILD_FAIL-构建失败； PASS-通过； NOT_PASS-不通过； ERROR-运行失败； INVALID-失效； INTERRUPT-中断； RUNNING-运行中； QUEUEING-排队中）
trigger_method	varchar	触发方式（FIX_TIME-定时；MANUAL-手动）
trigger_by	varchar	触发者
trigger_time	long	触发时间
failed_table_count	long	未通过表数量
total_table_count	long	检测表总数
last_modified_time	long
last_record	boolean	是否是最近一条运行记录
path	varchar	日志文件存储路径；路径为文件夹，文件夹下存放有日志文件和快照文件

8.3 fine_detection_work

数据检测任务配置表，任务目录、消息通知配置。

字段	类型	说明
id	varchar	主键字段uuid
work_id	varchar	任务id作为key
version	varchar	任务的版本号
project_version	varchar	工程版本号
namespace	varchar	命名空间，用来区分子表的
value	longtext	不同实体的具体json配置
create_time	long	创建时间
update_time	long	更新时间

8.4 fine_detection_global_rule

全局规则定义表：定义和存储全局规则配置。

字段	类型	说明
id	varchar	主键字段uuid
name	varchar	规则名
ruleType	varchar	规则类型；值示例：TABLE/COLUMN，含义为表级/字段级
detection_object	varchar	检测对象
range	varchar	预期范围
rule	longtext	详细配置
creator	varchar	创建者
createTime	long	创建时间
updateDetail	varchar	修改记录

8.5 fine_detection_relation

任务和全局规则引用关系表：存储任务和全局规则的引用关系（N:N）。

字段	类型	说明
id	varchar	主键字段uuid
work_id	varchar	任务id
rule_id	varchar	规则id

9. 应用复用模块

9.1 fine_dp_migration_trace

维护任务 id 和 forkId 的关系，涉及功能：批量导入导出定时任务、调度计划

字段	类型	说明
id	varchar	主键字段uuid
resource_id	varchar	资源id
resource_type	varchar	资源类型；可以是定时任务，也可以是调度计划
fork_id	varchar	对 FDL 无用

10. fine_conf_entity

具体表结构说明请参见：配置信息存储表

本章节只记录 FDL 相关字段：

4.1.9.3 及之后版本，fine_conf_entity 表新增字段 FDLIntegrationConfig.previewCache，值默认为 false；为 true 时代表开启算子/节点的预览缓存，下一次预览直接展示上次缓存结果。

11. 数据源模块

11.1 fine_connection_catalog

数据连接的目录表。

字段	类型	说明
id	varchar	主键字段uuid
entity_key	varchar	数据连接名（无id） or 目录id
namespace	varchar	命名空间
value_class	varchar	entity_value序列化对应的实体类
entity_value	varchar	json格式的配置信息

11.2 fine_test_connection

数据源测试连接结果表。

字段	类型	说明
id	varchar	主键字段uuid
entity_key	varchar	数据连接名
entity_value	longtext	json格式的配置信息

12. 公用表

公用表是不同模块一起使用的表，表内部通过 resource_type 区分不同模块数据，resource_id 代表业务 id。

12.1 fdl_catalog 目录表

字段名	字段类型	说明
id	varchar	主键
catalog_type	varchar	目录节点类型： ENTITY – 文件 PACKAGE – 文件夹
name	varchar	任务名称
pid	varchar	父节点id
description	varchar	描述
sort_index	varchar	排序
resource_id	varchar	资源id，比如定时任务id等
resource_type	varchar	资源类型，每个业务模块根据这个字段区分 PIPELINE：数据管道 DATA_SERVICE_API：数据服务API DATA_SERVICE_APP：数据服务应用 DETECTION：数据检测任务 OFFLINE：定时任务 STREAM：实时任务
create_user	varchar	节点创建用户id
create_time	varchar	创建时间

12.2 fdl_recyclebin 回收站表

字段名	字段类型	说明
id	varchar	主键
name	varchar	回收的资源名称，比如定时任务名称
path	varchar	资源删除之前的目录
resource_id	varchar	资源id，比如定时任务id等
resource_type	varchar	资源类型，每个业务模块根据这个字段区分
create_user	varchar	资源的创建用户id
delete_user	varchar	删除资源的用户id
delete_time	varchar	删除时间

12.3 fdl_work_info 任务信息表

字段名	字段类型	说明	备注
id	varchar	唯一标识字段
resource_id	varchar	资源id（work_id）
resource_type	varchar	资源类型，用于区分模块，即定时任务、实时任务、管道任务、API、应用、检测任务等
name	varchar	任务名
create_time	long	创建时间的时间戳
create_user	varchar	创建者	userId
description	varchar	任务描述
update_time	long	任务配置更新时间	updateTime仅记录配置更新时间离线任务记录画布更新时间，更新任务控制不会更新这个时间

12.4 fdl_work_status 任务状态表

字段	类型	说明
id	varchar	唯一标识字段
resource_id	varchar	资源id（work_id）
resource_type	varchar	资源类型
type	varchar	状态类型，用于区别于不同模块的不同类型状态。以定时任务为例：定时任务有着发布状态和校验状态两种
status	varchar	状态值

12.5 fdl_control_define 开发版本任务控制表

字段	类型	说明
id	varchar	唯一标识字段
resource_id	varchar	资源id（work_id）
resource_type	varchar	资源类型，用于区分模块，即离线任务、实时任务、管道任务、API、应用、检测等
control	varchar	控制值，包含任务的所有控制值的 json 数据不同 resource_type 的控制值并不一致，具体说明见本节第二个表格

resource_type

示例数据

备注

OFFLINE

点击展开更多

{
  "workAttributeConfig": {
  "taskPriority": 0,
  "customLogLevel": false,
  "logLevel": "ERROR",
  "dispatchType": null
},
  "noticeConfig": {
  "notification": false,
  "noticeConfig": {
  "notify": true,
  "notifyInDetail": false,
  "notifyDirtyData": true,
  "notifyDirtyDataInDetail": false,
  "notifyDDLChangeEvent": false
},
  "userGroup": {
  "users": null,
  "depts": null,
  "roles": null,
  "roleStr": null
},
  "noticeChannels": []
},
  "timeoutRetryConfig": {
  "timeoutConfig": {
  "hour": 1,
  "minute": 0,
  "enabled": true
},
  "retryConfig": {
  "max": 3,
  "delayMinute": 2,
  "enabled": true
},
  "errorLimitConfig": {
  "enable": false,
  "limit": 1000
}
}
}

定时任务在创建新任务时会创建一条默认的任务控制记录，默认的记录中任务控制为：

{
  "resourceType": "OFFLINE",
  "timeoutRetryConfigEntity": null,
  "noticeEntity": null,
  "workAttributeConfig": null
}

PIPELINE

点击展开更多

{
  "id": "01e41650-3ad6-4f7c-9350-30eef420efef",
  "controlId": "83b98b52-08f3-4b13-b132-72a5ea0c8fe8",
  "errorQueueConfig": {
  "limitNum": -1
},
  "notifyConfig": {
  "notification": false,
  "notifyContent": {
  "taskError": true,
  "syncingSourceTableDeleted": false,
  "notifyInDetail": false,
  "ddl": false,
  "retryNotice": false
},
  "userGroup": {
  "users": null,
  "depts": null,
  "roles": null,
  "roleStr": null
},
  "noticeChannels": []
},
  "retry": {
  "max": 0,
  "delayMinute": 0,
  "enabled": false
},
  "logConfig": {
  "customLogLevel": true,
  "logLevel": "INFO"
}
}

实时管道任务的任务控制信息

OFFLINE_PIPELINE

定时管道任务的任务控制信息

DETECTION

数据检测任务的任务控制信息

STREAM

实时任务在创建新任务时会创建一条默认的任务控制记录

12.6 fdl_version_info

版本信息表，存储版本发布时的基本信息。

字段	类型	说明
id	varchar	唯一标识字段
resource_id	varchar	资源id（work_id）
resource_type	varchar	资源类型
version	varchar	版本号、1-N
publish_user	varchar	发布者，userId
publish_time	long	发布时间
description	varchar	发布描述

12.7 fdl_control_version

任务控制版本表。

字段	类型	说明
id	varchar	唯一标识字段
resource_id	varchar	资源id（work_id）
resource_type	varchar	资源类型
control	varchar	控制值，包含任务的所有控制值的 json 数据
version	varchar	版本号

12.8 fdl_control_deploy

部署版本任务控制表。

字段	类型	说明
id	varchar	唯一标识字段
control	varchar	控制值，包含任务的所有控制值的 json 数据
delopy_time	long	最近一次部署时间
deploy_user	varchar	部署者，userId
resource_id	varchar	资源id（work_id）
resource_type	varchar	资源类型

12.9 fdl_conf_entity_x

公共配置表，包括当前版本、是否还原等

字段	类型	说明
id	varchar	主键字段uuid
entity_key	varchar	版本+任务id作为key，在子表空间内是唯一的
namespace	varchar	命名空间，用来区分子表的
value_class	varchar	子表对应的序列化实体类
entity_value	longtext	不同实体的具体json配置
is_deleted、is_segment、key_class、segment_length、timestamp、values_index、values_length 字段已被废弃

其中以namespace为子表名，entity_value（json格式）为子表字段和数据详细示例数据：

namespace

entity_value示例数据

DPFineDBVersionStore

{

"version": "4.1.5.5" //当前版本号，必须字段

}

DPFineBackupStore

"true"/"false"

13. 数据检测

13.1 数据检测ER图

13.2 fdl_detection_work

数据检测任务配置表，任务目录、消息通知配置。

字段	类型	说明
id	varchar	主键字段uuid
work_id	varchar	任务id
project_version	varchar	配置的版本号
task_detail	longtext	任务的具体配置，json格式
create_time	long	创建时间
create_user	varchar	创建用户
update_time	long	更新时间

13.3 fdl_detection_global_rule

全局规则定义表：定义和存储全局规则配置

字段	类型	说明
id	varchar	主键字段uuid
name	varchar	规则名
rule_type	varchar	规则类型
detection_object	varchar	检测对象
rule_range	varchar	预期范围
rule_detail	longtext	详细配置
creator	varchar	创建者
create_time	long	创建时间
update_detail	varchar	修改记录

13.4 fdl_detection_relation

任务和全局规则引用关系表：存储任务和全局规则的引用关系（N:N）。

字段	类型	说明
id	varchar	主键字段uuid
work_id	varchar	任务id
rule_id	varchar	规则id

13.5 fdl_detection_record

最近一条运行记录表：存储最近一次运行记录以及运行记录构建后的初始快照。

字段	类型	说明
id	varchar	uuid
work_id	varchar	任务id
start_time	long	开始时间
finsh_time	long	结束时间
status	varchar	数据检测任务运行状态（BUILDING-构建中；BUILD_FAIL-构建失败；PASS-通过；NOT_PASS-不通过；ERROR-运行失败；INVALID-失效；INTERRUPT-中断；RUNNING-运行中；QUEUEING-排队中）
trigger_method	varchar	触发方式（FIX_TIME-定时；MANUAL-手动）
trigger_by	varchar	触发者
trigger_time	long	触发时间
failed_table_count	long	未通过表数量
total_table_count	long	检测表总数
last_modified_time	long
last_record	boolean	是否是最近一条运行记录
path	varchar	日志文件存储路径路径为文件夹，文件夹下存放有日志文件和快照文件

14. 实时共享中心

14.1 fine_rtc_task_config

每个采集任务会有一些配置数据需要持久化存储。

字段名	类型	说明
id	varchar	采集任务id
name	varchar	采集任务名称
connection	varchar	数据连接名称
read_mode	varchar	采集模式，即采集器的类型
create_time	BIGINT	采集任务创建时间
worker_node_id	varchar	采集任务当前运行或最近一次运行的集群节点id
disabled	BOOLEAN	采集任务是否已禁用

15. 数据清洗

15.1 数据清洗ER图

15.2 fdl_data_cleaning_rule

全局清洗规则实体表：定义和存储全局清洗规则

字段	类型	说明
id	varchar	主键字段uuid
name	varchar	全局清洗规则名称
create_time	long	规则创建时间
create_user	varchar	规则创建者
modify_detail	varchar	规则修改明细
rule_entity	longtext	规则配置明细字符串
rule_signature	varchar	规则签名

15.3 fdl_data_cleaning_refer

业务引用规则明细：存储业务中任务对全局清洗规则的引用

字段	类型	说明
id	varchar	主键字段uuid
rule_id	varchar	清洗规则id
task_id	varchar	业务任务id
task_info	varchar	业务任务信息
task_namespace	varchar	业务任务命名空间

16. 数据源模块

16.1 fine_connection_catalog

数据连接的目录表

字段	类型	说明
id	varchar	主键字段uuid
entity_key	varchar	数据连接名（无id） or 目录id
namespace	varchar	命名空间
value_class	varchar	entity_value序列化对应的实体类
entity_value	longtext	json格式的配置信息

16.2 fine_test_connection

数据源测试连接结果表

字段	类型	说明
id	varchar	主键字段uuid
entity_key	varchar	数据连接名
entity_value	longtext	json格式的配置信息

17. 定时管道任务

17.1 ER 图

17.2 fdl_offline_pipe_src_info

定时管道来源配置信息。

4.2.8.1 版本新增。

字段	类型	说明
id	varchar	主键ID
connection_type	varchar	连接类型
connection_name	varchar	连接名称
dm_connection_id	varchar	数据管理连接ID

17.3 fdl_offline_pipe_dest_info

定时管道目标配置信息表。

4.2.8.1 版本新增。

字段	类型	说明
id	varchar	主键ID
connection_type	varchar	连接类型
connection_name	varchar	连接名称
fdl_database	varchar	数据库名称
fdl_schema	varchar	模式名称
add_update_timestamp	tinyint	是否添加更新时间戳字段
load_type	varchar	加载类型

17.4 fdl_offline_pipe_table_map

基础的映射信息表。

4.2.8.1 版本新增。

字段	类型	说明
id	varchar	主键ID
task_id	varchar	任务ID
map_type	varchar	列映射类型
create_time	bigint	创建时间

17.5 fdl_offline_pipe_src_table

定时管道源表定义表。

4.2.8.1 版本新增。

字段	类型	说明
id	varchar	主键ID
task_id	varchar	任务ID
fdl_database	varchar	数据库名称
fdl_schema	varchar	模式名称
fdl_table	varchar	表名称
fdl_columns	text	字段信息

17.6 fdl_offline_pipe_dest_table

定时管道目标表定义表。

4.2.8.1 版本新增。

字段	类型	说明
id	varchar	主键ID
task_id	varchar	任务ID
fdl_database	varchar	数据库名称
fdl_schema	varchar	模式名称
fdl_table	varchar	表名称
to_table_mode	varchar	目标表模式（自动建表/已存在表）
fdl_columns	text	字段信息
to_table_comment	varchar	目标表注释

17.7 fdl_offline_pipe_fine_app

应用数据源表信息。

4.2.8.1 版本新增。

字段	类型	说明
id	varchar	主键ID
task_id	varchar	任务ID
display_name	varchar	显示名称
table_type	varchar	表类型（全量表/增量表）
sub_Table	tinyint	是否子表
parent_table_id	text	父表ID
parent_field	text	父表字段
main_table_id	text	主表ID
begin_offset	bigint	初始偏移量
fdl_offset	bigint	当前偏移量
sub_table_method	varchar	子表处理方式

17.8 fdl_offline_pipe_log_record

定时管道日志记录表。

4.2.8.1 版本新增。

字段	类型	说明
id	varchar	主键ID
task_id	varchar	任务ID
exec_id	varchar	执行ID
source_table_id	varchar	源表ID
log_type	varchar	日志类型（任务配置、任务启停等）
log_level	varchar	日志级别（INFO、WARN、ERROR等）
log_class	varchar	日志类别（任务级日志、表级日志等）
desc	varchar	日志描述
detail	text	日志详情

17.9 fdl_offline_pipe_ins_rec

运维记录表。

4.2.8.1 版本新增。

字段	类型	说明
id	varchar	主键ID（使用运行id作为主键）
work_id	varchar	工作ID
start_time	bigint	开始时间
finish_time	bigint	结束时间
consume_time	bigint	消耗时间
instance_status	varchar	运行记录状态
trigger_method	varchar	触发方式
trigger_by	varchar	触发来源
total_table_count	int	同步表总数
last_record	tinyint	是否最后记录
table_detail	text	表详细信息

17.10 fdl_offline_pipe_ins_rec

运维记录表。

4.2.8.1 版本新增。

字段	类型	说明
id	varchar	主键ID
work_id	varchar	工作ID
start_time	bigint	开始时间
finish_time	bigint	结束时间
consume_time	bigint	消耗时间
instance_status	varchar	实例状态
trigger_method	varchar	触发方式
trigger_by	varchar	触发来源
dirty_count	int	脏数据数量
error_table_count	int	错误表数量
table_detail	text	表详细信息

上一篇：修改外接数据库账号密码

下一篇：fine_conf_entity可视化配置

有帮助
没帮助
只是浏览

English

中文（简体）