历史版本46 :FineDB表结构 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:
icon提示:
本文内容适用于 4.2.5.1 及之后版本;4.2.5.1 之前版本请参见:历史版本

目录:

1. 概述编辑

本文主要介绍 FDL 相关的 FineDB 表结构,平台相关的 FineDB 表结构请参见:FineDB 表结构

注1:由于外接数据库的类型不同,字段的数据类型不完全一致,本文以工程内置数据库为例,用户需自行匹配。

注2:FineDB 配置库用于存放工程配置信息,各表之间存在关联关系,随意改动可能导致工程无法启动等严重后果。

        请勿手动增!删!改!FineDB 数据库内的任何数据!有可能造成不可修复的 BUG,需自行承担后果。

2. 数据开发模块编辑

2.1 数据开发 ER 图

表间关系如下所示:

7.png

2.2 fdl_dev_global_param

全局参数定义表:定义和存储全局参数配置。

字段名类型说明
id
varchar主键字段uuid
add_timevarchar创建时间,示例:2024-03-13 16:47:50
plan_detailvarchar
createTimevarchar参数创建时间 「时间戳格式」
creatorvarchar参数创建用户
namevarchar参数名
updateDetaillongtext修改用户和修改时间列表
valuevarchar参数的值:静态参数的值,动态参数的调试值
datatypevarchar

静态参数的类型,包含日期(DATE)、文本(STRING)、布尔(BOOLEAN)、数值(NUMBER)四

动态参数的该值为空

configlongtext动态参数的配置,包括reader和output,4.1.8.1版本新增该字段
param_typevarchar参数类型,值域为{"DYNAMIC", "STATIC"},4.1.8.1版本新增该字段

2.3 fdl_work_last_record

最近一次运行记录信息。

  • 若定时任务当天没有运行,会存有之前运行过的最新一条记录。

  • 若定时任务当天运行过,将添加一条运行记录(lastRecord 字段标记是否是最近一次运行记录),历史的运行记录不会立刻删掉。

字段
类型说明
id
varchar主键字段uuid,实例id
dirtyDataNumbigint脏数据条数
finishTimebigint任务完成时间
lastModifiedTimebigint最近修改时间
pathvarchar运行实例统计信息和任务快照存储路径。值示例:dpworks/record/2024-03-13/04c51446-0053-48f3-b507-bad1bdf46592.log
sourceExecuteIdvarchar被重试的实例id,重试时有值,否则为null
startTimebigint任务开始时间
taskIdvarchar任务id
taskStatus  varchar任务运行状态,包括初始状态(INITIAL)、构建失败(BUILD_FAIL)、排队中(QUEUING)、运行中(RUNNING)、任务成功(SUCCESS)、任务执行报错(ERROR)、任务失效(INVALID)、任务中断(INTERRUPT)
triggerByvarchar触发者,手动触发为用户名;调度触发则为调度计划id
triggerMethodvarchar任务触发类型,包括定时触发(FIX_TIME)、手动触发(MANUAL)、手动重试(MANUAL_RETRY)、时间触发(EVENT)
triggerTime  bigint触发时间
lastRecordbool

是否是最近一条运行记录

示例:true

2.4 fdl_work_delete

任务删除备份表,被删除的任务需要记录删除时的任务id和任务名。

字段
类型说明
id
varchar

主键字段uuid,任务id

taskNamevarchar任务名称

2.5 fdl_plan_calendar

调度日历 表,保存用户上传的调度日历。

字段
类型说明
idvarchar主键字段uuid,实例id
namevarchar日历名字
filenamevarchar导入日历时文件名
dateslongtext日历日期
startTimebigint日历开始时间
endTimebigint日历结束时间
quartz_calendar_namevarcharQUARTZ_CALENDAR表中的日历名
timezone_idvarchar时区

2.6 fdl_plan_schedule

定时/事件调度、单一/批量调度表,包括四种情况,简单说明:

plan_detail 列的 type 字段schedule_type 列的 TIME 值schedule_type 列的 EVENT 值(4.1.11.1及之后版本弃用该字段)
WORK_SCHEDULE_PLAN单任务定时调度单任务事件调度
SCHEDULE_PLAN批量任务定时调度批量任务事件调度

fine_plan_schedule 表结构如下表所示:

字段
类型说明
idvarchar主键字段uuid
add_timevarchar创建时间
plan_detailvarchar

值示例:

{

    "id": "82606bf6-4ccf-4ba9-907a-3b417334511e", //计划id

    "name": "调度1-定时B", //计划名

    "type": "WORK_SCHEDULE_PLAN" //计划类型:单任务计划:WORK_SCHEDULE_PLAN;批量计划:SCHEDULE_PLAN

}

plan_idvarchar计划id
schedulelongtext

调度配置-定时调度:

字段
含义
id调度id,值等于表中的schedule_id
scheduleOpen是否开启调度
startTime调度开始时间
frequency

调度的执行频率配置:

type
含义
0未开启
1只执行一次
2简单重复执行
3明细频率设置
4表达式设定
endTime调度结束时间
type调度的类型,TIME代表定时调度
calendar调度日历
调度配置-事件调度(4.1.11.1 及之后版本弃用):
字段含义
id
调度id
scheduleOpen是否开启调度
dependentTasks依赖的任务列表
condition执行条件
type调度的类型,EVENT代表事件调度
schedule_idvarchar调度id(事件调度没有该字段)
schedule_typevarchar

调度类型:

  • 4.1.11.1 之前版本:包括定时调度(TIME)、事件调度(EVENT

  • 4.1.11.1 及之后版本:定时调度(TIME)

business_Typeint业务类型

2.7 fdl_plan_work

计划(不区分定时调度和事件调度)和任务的对应关系表,一个计划可以对应多个任务。

4.2.5.1 之前版本,名称为 fine_dp_plan_work ;4.2.5.1 及之后版本,fine_dp_plan_work 表被弃用。

字段
类型说明
idvarchar主键字段uuid
plan_idvarchar执行计划id
work_idvarchar任务id
work_typevarchar任务类型,比如定时任务(TIMING)

2.8 fdl_exec_record_trigger

能触发 事件调度 的记录表。

1722562020154758.png

字段
类型说明
idvarchar记录id
task_idvarchar任务id
task_statusvarchar

任务状态(必须是完成状态

示例数据:SUCCESS

last_modified_timelong

最后修改时

示例数据:1721704150000

task_group_listvarchar已经触发的任务组列表

2.9 fdl_schedule

事件调度基础信息表。

字段
类型说明
idvarchar计划id
namevarchar计划名
add_timelong添加时间;可根据添加时间排序
descriptionvarchar描述
statusvarchar调度状态;有三种状态:OPEN/CLOSE/ABNORMAL

2.10 fdl_task_group

事件调度任务组表。

字段
类型说明
id
varchar任务组id
plan_idvarchar计划id
namevarchar任务组名
statusvarchar任务组状态:OPEN/CLOSE
judgementvarchar

判断条

{

    "type":TIMING/REALTIME

    "condition": {

        "type":"judge",

        "conditionCompareType":"DATE_AFTER",

        "valueType":"DATE",

        "source": {

            "type":"field",

            "value":"taskFinishTime",

        },

        "target":{

            "type": "DATE_INTERVAL",

            "value": {

                "num": 1,

                "unit": "DAY"

            }

        }

    }

    "timing":{

        "id": "0f3c2bb9-498a-4bf0-991b-545aa13a41d3", //实际为任务组id

        "scheduleOpen": true, //是否开启调度;默认为true

        "startTime": {  //调度开始时间

            "value": "2024-03-13 18:22:19"

        },

        "frequency": {   //调度的执行频率配置

            "type": 1,

            "value": null

        },

        "endTime": {  //调度结束时间

            "type": 1,

            "value": null

        },

        "type": "TIME", //调度的类型,TIME代表定时调度

        "calendar": {

            "open": false,

            "calendarId": ""

        }

    }  

    once:true,//是否只使用一次

    status:"SUCCESS" //可以触发下游任务组的任务状态;SUCCESS/FINISHED

}

2.11 fdl_task_map_group

任务和任务组的映射表。任务组说明请参见:事件调度

字段
类型说明
idvarchar任务id
group_idvarchar任务组id

2.12 fine_dp_task_group_relation

任务组之间的关系表。

字段
类型说明
idvarchar关系id
from_idvarchar任务组关系的来源端
to_idvarchar任务组关系的目标端
plan_idvarchar计划id

3. 数据管道编辑

3.1 数据管道 ER 图

表间关系如下所示:

8.png

3.2 fdl_pipe_src_info_define

管道源端信息表

字段
类型说明
id
varchar任务D
connection_typevarchar连接类型
connection_namevarchar连接名称
read_modevarchar读取模式
sync_typevarchar同步方式
incremental_sync_pointvarchar仅增量起点

3.3 fdl_pipe_src_table_define

源端的表信息。

字段
类型说明
id
varchar管道任务中源表的id
task_idvarchar任务id
target_table_idvarchar目标表id
fdl_databasevarchar库名
fdl_schemavarchar模式名
fdl_tablevarchar表名
full_sync_finishedboolean是否同步完成
fdl_invalidboolean表是否失效
fdl_columnsvarchar字段信息

3.4 fdl_pipe_target_info_define

管道目标端信息表。

字段
类型说明
id
varchar任务ID
connection_typevarchar连接类型
connection_namevarchar连接名称
fdl_databasevarchar数据库名称
fdl_schemavarchar模式名称
read_modevarchar读取模式
source_change_strategyvarchar删除策略:逻辑删除、物理删除
update_timestamp_columnboolean是否开启时间字段
apply_ddlboolean应用ddl
enable_high_speed_loadboolean是否启用高速装载
enable_no_primaryboolean是否开启无主键同步

3.5 fdl_pipe_dest_table_define

管道目标表配置。

字段
类型说明
id
varchar管道任务中源表的id
task_idvarchar任务id
fdl_databasevarchar库名
fdl_schemavarchar模式名
fdl_tablevarchar表名
to_table_modevarchar建表类型
fdl_columnsvarchar字段信息
advanced_configvarchar额外信息
to_table_typevarchar目标表的表类型
to_table_commentvarchar目标表的注释

3.6 fdl_pipe_group_define

管道任务分组配置。

字段
类型说明
id
varchar主键,随机的uuid
task_idvarchar任务id
namevarchar分组名字
fdl_columnsvarchar字段信息

3.7 fdl_pipe_table_group_define

字段
类型说明
idvarchar主键,随机的uuid
task_idvarchar任务id
group_idvarchar分组id
column_name_mapvarchar字段映射

3.8 fdl_pipe_table_map_define

管道任务映射信息。

字段
类型说明
id
varchar主键,随机的uuid
task_idvarchar任务id
source_idvarchar分组id
target_idvarchar字段映射
map_typevarchar

映射方式:按行映射、按名称映射

table_map_typevarchar

映射类型:表到表、分组表到表

3.9 fdl_pipe_savepoint

管道任务断点记录,用来断点续传。

字段
类型说明
idvarchar

记录ID

task_idvarchar任务id
typevarchar断点类型
upgradelongtext升级断点
valuelongtextJSON 格式,实际断点保存的值,不同类型的断点保存的值不同
incremental_timestampbigint增量开始时间

3.10 fdl_pipe_table_record

管道任务执行记录与统计表

部分是表级的记录(下表中字段名为绿色),任务级别的记录由表级汇总得到。部分是任务级别的(下表中字段名为灰色)。

字段
类型说明
idvarchar任务id或源表id
delete_record_countbigint删除行数(表级)
delete_trafficbigint删除数据量(单位Byte)
error_record_countbigint失败行数
insert_record_countbigint插入行数
insert_trafficbigint插入数据量(单位Byte)
last_log_timebigint上一次任务记录时间
last_read_timebigint上次读取时FDL服务器的时间
last_start_timebigint上一次任务启动时间
last_write_timebigint上次写入时FDL服务器的时间
read_record_countbigint读取行数
read_total_trafficbigint读取数据量(单位Byte)
table_full_namevarchar来源表的完整名称
task_idvarchar任务id
to_sync_record_countbigint待同步行数
to_sync_trafficbigint待同步数据量(单位Byte)
typevarchar记录的类型,是表还是任务;4.2.1.1 及之后版本弃用
update_record_countbigint更新行数
update_trafficbigint更新数据量(单位Byte)
work_durationbigint任务实际工作时长(若任务中途有中断,则中断时间不会统计在内);4.2.1.1 及之后版本弃用
last_massage_read_timebigint上次读取时对应的日志在数据库中的时间
last_massage_write_timebigint上次写入时对应的日志在数据库中的时间
status
varchar(255)表状态

3.11 fdl_pipeline_task_record

管道任务的运行信息表(任务级别)。

字段
类型说明
idvarchar(255)任务id
statusvarchar(255)任务的运行状态
firstStartTimebigint首次启动时间
createTimebigint创建时间
udpateTimebigint更新时间
workNodeIdvarchar(255)运行节点
lastStartTimebigint最近一次启动时间
startMessagelongtext启动信息
noticeboolean是否提示

3.12 fine_dp_pipeline_dirty

管道任务中如果捕获到脏数据后,会将脏数据的基本信息存储在这个表中。

字段名称
类型说明
idvarchar(255)脏数据id,唯一标识一条脏数据
error_paramsvarchar不再使用
error_typevarchar(255)脏数据的异常类型 enum 的名字
fdl_offsetbigint脏数据在指定topic的offset
primary_keyvarchar(1024)

主键信息,一个json字符串。

例子:

{

 "before": "更新前主键",

 "after": "更新后主键"

}

task_idvarchar(255)任务id
task_table_idbigint表id
timestampbigint脏数据捕获时间
fdl_topicvarchar(255)脏数据所在的topic
fdl_codeint该字段用来记录脏数据的一些标志位,长度为32位,也就可以标记32个不同状态
目前从右往左的前三位按序用来标记,插入、删除、更新
其中主键更新的脏数据会被视为删除+插入,对应的code二进制code就是11
error_messagevarchar(2048)报错java堆栈异常的errormessage
fdl_extralongtext额外的信息,比如错误堆栈,当前数据对应的断点信息等等,通过json格式进行存储

4. 数据服务编辑

4.1 数据服务 ER 图

表间关系如下:

4.png

4.2 fine_dp_service_app

数据服务应用配置表。

字段
类型说明
idvarchar主键字段uuid;无实际作用
appIdvarchar应用id
authInfolongtext

认证信息

示例数据:

{

  "authType": "EmptyAuth",  // 当前生效的认证类型

  "authConfig": [ //认证的具体配置

    {

      "type": "EmptyAuth"   // 无认证

    },

    {

      "code": "AppCode a25787ba-fd6c-4f23-b46a-8b148c2ab1a9",

      "type": "AppCodeAuth"  // APPCode认证

    },

    {

      "secret": "",

      "type": "DigestSignatureAuth"  // 摘要认真

    }

  ],

  "type": "Auth"

}

creatorvarchar创建用户名
descriptionvarchar应用描述
versionvarchar版本

4.3 fine_dp_service_catalog

数据服务的目录表,具体结构和fine_dp_conf_entity_x类似。

字段
类型说明
idvarchar主键字段uuid;无实际作用
entity_keyvarchar版本+任务id作为key,在子表空间内是唯一的
namespacevarchar

命名空

DataServiceAppCatalogDO  // 应用

DataServiceAPICatalogDO  // API

value_classvarcharentity_value序列化对应的实体类
entity_valuelongtextjson格式的配置信息

不同 namespace 对应的明细:

namespace说明

DataServiceAPICatalogDO(API目录)

4.0.27 及之后版本

字段
含义
idapi任务/文件夹的id
pid父文件夹的id
name名称
createTime创建时间
type类型:
  • ENTITY:api任务

  • PACKAGE:文件夹

recycleBinDO

4.1.9.3 及之后版本,新增该字段

回收站信息
DataServiceAppCatalogDO(应用目录)
字段
含义
id应用/文件夹的id
pid父文件夹的id
name应用/文件夹的名称
createTime创建时间
type

类型:

  • ENTITY:应用

  • PACKAGE:文件夹

4.4 fine_dp_service_mapping

应用和API的关联表。

字段
类型说明
idvarchar主键字段uuid;无实际作用
apiIdvarcharAPI的ID
appIdvarchar应用ID
expireTimebigint

有效期

  • -1表示无限制

  • 其他值代表对应的时间戳

rateLimitvarchar

访问限制:

字段
含义
limitCount单位时间内允许多少个访问请求
  • -1表示无限制

  • 其他值代表对应的限制个数

timeUnit

时间单位

  • MINUTES:分钟

  • HOURS:小时

  • DAYS:天

示例数据:频率最大100次/分钟

{

  "limitCount": 100,   // 单位时间最大访问次数

  "timeUnit": "HOURS", // 时间单位

  "type": "RateLimit"

}

4.5 fine_dp_service_task

API配置表。

字段
类型说明
idvarchar主键字段uuid;无实际作用
taskIdvarcharAPI的ID
taskTypevarchar冗余字段;目前未实际使用
taskDetaillongtextAPI配置信息
requestPathvarcharapi路径
requestMethodvarchar请求方法:post、get
isOnlinebit是否上线:1-上线,0-下线
isAuthActivebit目前未实际使用
descriptionvarcharAPI描述
timeoutbigint超时时间
versionvarchar版本
requestContentTypevarchar请求体类型

5. 库表管理编辑

5.1 库表管理ER图

1715776025683786.png

5.2 fine_datacenter_sql_script

SQL 脚本管理表:存储用户保存的 SQL 脚本数据。

字段
类型说明
idvarchar主键字段uuid
connectionvarchar所属数据连接
last_loglongtext最近一次日志,内容是日志对象json序列化后的字符串
contentlongtext脚本内容
create_timebigint脚本创建时间戳
namevarchar脚本名称
last_modified_timebigint脚本更新时间戳

5.3 fine_datacenter_updatelog

SQL脚本管理表:存储用户保存的sql脚本数据

字段类型说明
idvarchar主键字段uuid
script_idvarchar这条更新记录对应的脚本id
editorvarchar更新人
modified_timebigint更新时间

6. 公共模块编辑

6.1 公共模块 ER 图

表间关系如下:

1735875359815786.png

6.2 fine_dp_general_config

通用配置 表:定义和存储通用配置(基于数据连接,定义大小写转换规则)。

字段
类型说明
idvarchar主键字段uuid
configlongtext

数据连接名和对应的大小写转换规则,目前 transformation 包含全部转大写(UPPER_CASE)、全部转小写(LOWER_CASE

示例数据:

{"transformation":"UPPER_CASE","connections":["local_fdl_data"]}

create_timebigint配置创建时间
typevarchar通用配置类型,暂时只有AUTO_CREATE_TABLE_CASE
update_timevarchar配置修改时间

6.3 fine_dp_operate_history

最近编辑记录表:包括数据开发、数据管道模块的最近标记记录。

字段
类型说明
idvarchar主键字段uuid
operate_timebigint编辑时间
operate_typevarchar编辑类型,包括创建(CREATE)、删除(DELETE)、修改(EDIT)
operate_uservarchar编辑用户
task_idvarchar任务id
task_namevarchar任务名
task_pathvarchar任务路径
task_typevarchar任务类型,包括数据开发(DATA_DEVELOP)、数据管道(PIPELINE_DEVELOP)

6.4 fine_dp_lineage_node

血缘节点表:

字段名
说明
id主键
graph_id图id
resource_id对应的业务资源id
group_id节点分组id
resource_info对应的业务资源信息

6.5 fine_dp_lineage_edge

血缘节点关系表:

字段名
说明
id主键
source_id父节点id,外键,对应于fine_dp_lineage_node的id
target_id子节点id,对应于fine_dp_lineage_node的id
graph_id图id

6.6 fine_dp_lineage_sql

解析失败的SQL记录表,当SQL解析失败时,记录在当前表里,目前仅做记录。

6.7 fine_dp_lineage_event

血缘异步更新队列表,暂存未处理的事件。

字段
类型说明
idVARCHAR主键

entity_id

VARCHAR事件相关联的业务实体主键,比如定时任务id
entity_typeVARCHAR

业务实体类型:

  • DEV_WORK:定时任务

  • PIPELINE:管道任务

  • SERVICE_API:数据服务API

status
INTEGER事件状态:
  • 未处理:0

  • 处理中:1

event_typeVARCHAR

事件类型:

  • UPDATE:更新事件

  • DELETE:删除事件

create_timeLONG创建时间,队列根据这个字段来保证顺序

6.8 fdl_center_event_offset

该表用于记录事件中心的偏移量信息

字段名
类型描述
id
varchar主键ID
handler_typevarchar处理器类型
event_offsetbigint事件偏移量

6.9 fdl_connection_lineage

该表用于数据连接和任务的血缘关系

字段名
类型描述
idvarchar主键ID
resource_idvarchar资源ID
connection_idvarchar连接ID
resource_typevarchar资源类型
publish_statevarchar发布状态
create_timebigint创建时间
resource_infovarchar资源信息

7. 数据开发-实时任务编辑

7.1 fdl_stream_savepoint

实时任务的断点信息。

字段
类型说明
idvarcharuuid
create_timelong创建时间
operator_idvarchar断点对应数据源算子Id
typevarchar数据源类型
update_timelong更新时间
valuevarchar

保存的断点数

共享中断点具体数据也存在这里

work_idvarchar任务ID

7.2 fdl_stream_work_record

任务执行记录表,任务每一次运行都会产生一条执行记录信息

字段
类型说明
idvarchar主键字段UUID
dirtyDataNumlong脏数据数量
finishTimelong任务完成时间,示例数据:1732069683683
recordIdvarchar运行记录ID
startTimelong任务启动时间
statusint任务状态;0~3分别表示启动失败,运行失败,手动暂停,运行中
stopByvarchar终止任务的用户
triggerByvarchar触发任务的用户
triggerMethodint任务的启动类型;0~1分别表示启动和重置启动
workIdvarchar任务ID
pathvarchar任务详情数据所在文件路径
engine_type_namevarchar执行任务的引擎名称
worker_node_idvarchar集群节点名称

7.3 fdl_stream_task_status

实时任务状态表,记录一些实时任务本身的状态信息

字段
类型说明
id
varcharuuid
fisrt_start_timelong任务首次启动时间
last_start_timelong任务上次启动时间
statusvarchar任务状态
work_idvarchar任务id作为key

8. 数据检测任务编辑

8.1 数据检测ER图

6.png

8.2 fine_detection_record

最近一条运行记录表:存储最近一次运行记录以及运行记录构建后的初始快照。

字段
类型说明
idvarchar主键字段uuid,该字段非主键
work_idvarchar任务id
start_timelong开始时间
finsh_timelong结束时间
statusvarchar

数据检测任务运行状态

BUILDING-构建中;

BUILD_FAIL-构建失败;

PASS-通过;

NOT_PASS-不通过;

ERROR-运行失败

INVALID-失效;

INTERRUPT-中断;

RUNNING-运行中;

QUEUEING-排队中)

trigger_methodvarchar

触发方式

(FIX_TIME-定时;MANUAL-手动)

trigger_byvarchar触发者
trigger_timelong触发时间
failed_table_countlong未通过表数量
total_table_countlong检测表总数
last_modified_timelong
last_recordboolean是否是最近一条运行记录
pathvarchar日志文件存储路径;路径为文件夹,文件夹下存放有日志文件和快照文件

8.3 fine_detection_work

数据检测任务配置表,任务目录、消息通知配置。

字段
类型说明
id
varchar主键字段uuid
work_idvarchar任务id作为key
versionvarchar任务的版本号
project_versionvarchar工程版本号
namespacevarchar命名空间,用来区分子表的
valuelongtext不同实体的具体json配置
create_timelong创建时间
update_timelong更新时间

8.4 fine_detection_global_rule

全局规则定义表:定义和存储全局规则配置。

字段
类型说明
idvarchar主键字段uuid
namevarchar规则名
ruleTypevarchar规则类型;值示例:TABLE/COLUMN,含义为表级/字段级
detection_objectvarchar检测对象
rangevarchar预期范围
rulelongtext详细配置
creatorvarchar创建者
createTimelong创建时间
updateDetailvarchar修改记录

8.5 fine_detection_relation

任务和全局规则引用关系表:存储任务和全局规则的引用关系(N:N)。

字段
类型说明
idvarchar主键字段uuid
work_idvarchar任务id
rule_idvarchar规则id

9. 应用复用模块编辑

9.1 fine_dp_migration_trace

维护任务 id 和 forkId 的关系,涉及功能:批量导入导出定时任务、调度计划

字段
类型说明
idvarchar主键字段uuid
resource_idvarchar资源id
resource_typevarchar资源类型;可以是定时任务,也可以是调度计划
fork_idvarchar对 FDL 无用

10. fine_conf_entity编辑

具体表结构说明请参见:配置信息存储表

本章节只记录 FDL 相关字段:

4.1.9.3 及之后版本,fine_conf_entity 表新增字段 FDLIntegrationConfig.previewCache,值默认为 false;为 true 时代表开启算子/节点的预览缓存,下一次预览直接展示上次缓存结果。

11. 数据源模块编辑

11.1 fine_connection_catalog

数据连接的目录表。

字段
类型说明
id
varchar主键字段uuid
entity_keyvarchar数据连接名(无id) or 目录id 
namespacevarchar命名空间
value_classvarcharentity_value序列化对应的实体类
entity_valuevarcharjson格式的配置信息

11.2 fine_test_connection

数据源测试连接结果表。

字段
类型说明
idvarchar主键字段uuid
entity_keyvarchar数据连接名
entity_valuelongtextjson格式的配置信息

12. 公用表编辑

公用表是不同模块一起使用的表,表内部通过 resource_type 区分不同模块数据,resource_id 代表业务 id。

12.1 fdl_catalog 目录表

字段名
字段类型说明
id
varchar主键
catalog_typevarchar

目录节点类型:

  • ENTITY – 文件

  • PACKAGE – 文件夹

namevarchar节点名称
pidvarchar父节点id
descriptionvarchar描述
sort_indexvarchar排序
resource_idvarchar资源id,比如定时任务id等
resource_typevarchar

资源类型,每个业务模块根据这个字段区

PIPELINE:数据管道

DATA_SERVICE_API:数据服务API

DATA_SERVICE_APP:数据服务应用

DETECTION:数据检测任务

OFFLINE:定时任务

STREAM:实时任务

create_uservarchar节点创建用户id
create_timevarchar创建时间

1.2 fdl_recyclebin 回收站表

字段名
字段类型说明
idvarchar主键
namevarchar回收的资源名称,比如定时任务名称
pathvarchar资源删除之前的目录
resource_idvarchar资源id,比如定时任务id等
resource_typevarchar资源类型,每个业务模块根据这个字段区分
create_uservarchar资源的创建用户id
delete_uservarchar删除资源的用户id
delete_timevarchar删除时间

12.3 fdl_work_info 任务信息表

字段名
字段类型
说明备注
id
varchar唯一标识字段
resource_idvarchar资源id(work_id)
resource_typevarchar资源类型,用于区分模块,即定时任务、实时任务、管道任务、API、应用、检测任务等
namevarchar任务名
create_timelong创建时间的时间戳
create_uservarchar创建者userId
descriptionvarchar任务描述
update_timelong任务配置更新时间

updateTime仅记录配置更新时间

  • 离线任务记录画布更新时间,更新任务控制不会更新这个时间

12.4 fdl_work_status 任务状态表

字段
类型说明
id
varchar唯一标识字段
resource_idvarchar资源id(work_id)
resource_typevarchar资源类型
typevarchar状态类型,用于区别于不同模块的不同类型状态。以定时任务为例:定时任务有着发布状态和校验状态两种
statusvarchar状态值

12.5 fdl_control_define 开发版本任务控制表

字段
类型说明
id
varchar唯一标识字段
resource_idvarchar资源id(work_id)
resource_typevarchar资源类型
controlvarchar控制值,包含任务的所有控制值的 json 数据

12.6 fdl_version_info

版本信息表,存储版本发布时的基本信息。

字段
类型说明
id
varchar唯一标识字段
resource_idvarchar资源id(work_id)
resource_typevarchar资源类型
versionvarchar版本号、1-N
publish_uservarchar发布者,userId
publish_timelong发布时间
descriptionvarchar发布描述

12.7 fdl_control_version

任务控制版本表。

字段
类型说明
id
varchar唯一标识字段
resource_idvarchar资源id(work_id)
resource_typevarchar资源类型
controlvarchar控制值,包含任务的所有控制值的 json 数据
versionvarchar版本号

12.8 fdl_control_deploy

部署版本任务控制表。

字段
类型说明
id
varchar唯一标识字段
controlvarchar控制值,包含任务的所有控制值的 json 数据
delopy_timelong最近一次部署时间
deploy_uservarchar部署者,userId
resource_idvarchar资源id(work_id)
resource_typevarchar资源类型

12.9 fdl_conf_entity_x

公共配置表,包括当前版本、是否还原等

字段
类型说明
idvarchar主键字段uuid
entity_keyvarchar版本+任务id作为key,在子表空间内是唯一的
namespacevarchar命名空间,用来区分子表的
value_classvarchar子表对应的序列化实体类
entity_valuelongtext不同实体的具体json配置
is_deleted、is_segment、key_class、segment_length、timestamp、values_index、values_length 字段已被废弃

其中以namespace为子表名,entity_value(json格式)为子表字段和数据详细示例数据:

namespace
entity_value示例数据
DPFineDBVersionStore{

    "version": "4.1.5.5" //当前版本号,必须字段

}

DPFineBackupStore"true"/"false"

13. 数据检测编辑

13.1 数据检测ER图

9.png

13.2 fdl_detection_work

数据检测任务配置表,任务目录、消息通知配置。

字段
类型说明
idvarchar主键字段uuid
work_idvarchar任务id
project_versionvarchar配置的版本号
task_detaillongtext任务的具体配置,json格式
create_timelong创建时间
create_uservarchar创建用户
update_timelong更新时间

13.3 fdl_detection_global_rule

全局规则定义表:定义和存储全局规则配置

字段
类型说明
id
varchar主键字段uuid
namevarchar规则名
rule_typevarchar规则类型
detection_objectvarchar检测对象
rule_rangevarchar预期范围
rule_detaillongtext详细配置
creatorvarchar创建者
create_timelong创建时间
update_detailvarchar修改记录

13.4 fdl_detection_relation

任务和全局规则引用关系表:存储任务和全局规则的引用关系(N:N)。

字段
类型说明
id
varchar主键字段uuid
work_idvarchar任务id
rule_idvarchar规则id

13.5 fdl_detection_record

最近一条运行记录表:存储最近一次运行记录以及运行记录构建后的初始快照。

字段
类型说明
idvarcharuuid
work_idvarchar任务id
start_timelong开始时间
finsh_timelong结束时间
statusvarchar

数据检测任务运行状态

(BUILDING-构建中;BUILD_FAIL-构建失败;PASS-通过;NOT_PASS-不通过;ERROR-运行失败;INVALID-失效;INTERRUPT-中断;RUNNING-运行中;QUEUEING-排队中)

trigger_methodvarchar触发方式

(FIX_TIME-定时;MANUAL-手动)

trigger_byvarchar触发者
trigger_timelong触发时间
failed_table_countlong未通过表数量
total_table_countlong检测表总数
last_modified_timelong
last_recordboolean是否是最近一条运行记录
pathvarchar

日志文件存储路径

路径为文件夹,文件夹下存放有日志文件和快照文件

14. 实时共享中心编辑

14.1 fine_rtc_task_config

每个采集任务会有一些配置数据需要持久化存储。

字段名
类型说明
id
varchar采集任务id
namevarchar采集任务名称
connectionvarchar数据连接名称
read_modevarchar采集模式,即采集器的类型
create_timeBIGINT采集任务创建时间
worker_node_idvarchar采集任务当前运行或最近一次运行的集群节点id
disabledBOOLEAN采集任务是否已禁用

15. 数据清洗编辑

15.1 数据清洗ER图

1749692258102100.png

15.2 fdl_data_cleaning_rule

全局清洗规则实体表:定义和存储全局清洗规则

字段
类型说明
idvarchar主键字段uuid
namevarchar全局清洗规则名称
create_timelong规则创建时间
create_uservarchar规则创建者
modify_detailvarchar规则修改明细
rule_entitylongtext规则配置明细字符串
rule_signaturevarchar规则签名

15.3 fdl_data_cleaning_refer

业务引用规则明细:存储业务中任务对全局清洗规则的引用

字段
类型说明
idvarchar主键字段uuid
rule_idvarchar清洗规则id
task_idvarchar业务任务id
task_infovarchar业务任务信息
task_namespacevarchar业务任务命名空间

16. 数据源模块编辑

16.1 fine_connection_catalog

数据连接的目录表

字段
类型说明
idvarchar主键字段uuid
entity_keyvarchar数据连接名(无id) or 目录id 
namespacevarchar命名空间
value_classvarcharentity_value序列化对应的实体类
entity_valuelongtextjson格式的配置信息

16.2 fine_test_connection

数据源测试连接结果表

字段
类型说明
idvarchar主键字段uuid
entity_keyvarchar数据连接名
entity_valuelongtextjson格式的配置信息