LogDB 表结构- FineDataLink帮助文档

文档创建者：Suki陈

历史版本：17

最近更新：Wendy123456 于 2024-08-09

1. 概述

1.1 版本

FineDataLink版本	功能变动
4.1.7.3	fine_dp_work_exec_record表迁移到logdb中，表名不变，后续数据均写入迁移后数据表。升级后会将历史运行记录迁移到LogDB中。
4.1.11.2	fine_intelli_focus_point 表中，id 值新增fdl_sched_task_plan_relation、fdl_sched_plan_schedule；id 值为 fdl_sched_task_info 时，新增字段：timeoutConfig、retryConfig、errorLimitConfig、NoticeStore、WorkPriorityStore

1.2 功能说明

本文将简单介绍 LogDB 数据库中各个数据表和表字段的含义。

2. 平台相关

平台相关的 LogDB 数据表及表字段请参见：LogDB 表结构

3. FDL 相关：业务表

3.1 数据管道

3.1.1 fine_pipeline_sync_information

历史同步数据表。

字段	说明
uuid	UUID
time	时间戳
taskId	任务ID
sourceTableId	源表ID
readInsertNum	来源端插入行数
readUpdateNum	来源端更新行数
readDeleteNum	来源端删除行数
writeInsertNum	目标端插入行数
writeUpdateNum	目标端更新行数
writeDeleteNum	目标段删除行数
writeFaildNum	目标端写入失败行数

3.1.2 fine_pipeline_log

管道日志表。

字段	说明
uuid	UUID
time	时间戳
taskId	任务ID
sourceTableId	源表ID
logType	日志分类信息 0-任务关键节点；2-数据写入；3-传输队列；4-数据读取 5-DDL捕获；6-DDL应用；7-脏数据记录；8- 脏数据处理 9-重新同步；10-心跳检测
logLevel	日志等级：1-INFO；2-WARN；3-ERROR；8-BASIC
logClass	日志分类：0-表级别；1-任务级别
desc	日志描述
detail	日志详情

3.2 数据服务

3.2.1 fine_record_fdl_dataservice_monitor_info

数据服务调用记录表。

字段	含义
uuid	调用记录ID
time	调用时间
apiUid	API的ID
apiName	API名称
apiUrl	API相对路径
apiFolder	API所在文件夹
apiGroupUid	API应用ID
apiGroupName	API应用名称
requestId	请求ID
requestIp	请求IP
requestMethod	请求方法
requestHandleTime	请求处理时刻
requestSize	请求体大小
statusCode	状态码
responseSize	响应体大小
responseDataRowCount	响应行数
serviceLatency	服务耗时
dataProcessLatency	数据处理耗时
errorMessage	错误信息
exception	错误详情

3.3 数据开发

3.3.1 fine_dp_work_exec_record

历史运行记录表，新的运行记录直接进行插入。

4.1.7.3 以及之后的版本，从 FineDB 迁移到 LogDB 中，表名不变。

注：定时任务每执行一次，都会生成一条执行记录。

字段	类型	说明
id	varchar	主键字段uuid，实例id
dirtyDataNum	bigint	脏数据条数
finishTime	bigint	任务完成时间
lastModifiedTime	bigint	最近修改时间
path	varchar	运行实例统计信息和任务快照存储路径。值示例：dpworks/record/2024-03-13/04c51446-0053-48f3-b507-bad1bdf46592.log
sourceExecuteId	varchar	被重试的实例id，重试时有值，否则为null
startTime	bigint	任务开始时间
taskId	varchar	任务id
taskStatus	varchar	任务运行状态，包括初始状态（INITIAL）、构建失败（BUILD_FAIL）、排队中（QUEUING）、运行中（RUNNING）、任务成功（SUCCESS）、任务执行报错（ERROR）、任务失效（INVALID）、任务中断（INTERRUPT）
triggerBy	varchar	触发者，手动触发为用户名；调度触发则为调度计划id
triggerMethod	varchar	任务触发类型，包括定时触发（FIX_TIME）、手动触发（MANUAL）、手动重试（MANUAL_RETRY）、时间触发（EVENT）
triggerTime	bigint	触发时间

4. FDL 相关：埋点表

表间关系如下所示：

下图中黄色字段，为 fine_intelli_focus_point 表中，body 字段解析后得到的字段。

4.1 fine_intelli_focus_point

功能埋点主表。

主要字段介绍如下表所示：

字段	类型	说明
appId	varchar	工程ID
yearMonth	varchar	埋点年月（YYYYMM）
dayTime	timestamp	埋点日期（年月日）
time	timestamp	埋点时间（年月日时分秒）
ingestTime	varchar	导入到云端的时间
frFullVersion	varchar	FR版本信息
biFullVersion	varchar	BI版本信息
cloudVersion	varchar	云端运维插件版本信息
body	json	根据 id 值的不同，代表不同模块信息；解析后，包含多个字段
id	varchar	不同 id 值，代表不同模块信息

根据 id 值的不同，代表不同模块信息。详情见下表说明：

id 值

含义

body 字段解析后包含字段

fdl_global_info

FDL全局

globalInfo：代表FDL版本信息

fdl_sched_task_info

定时任务的任务元数据信息，包含任务属性值

字段	类型	含义
taskId	varchar	定时任务ID
taskName	varchar	定时任务名称
taskType	varchar	定时任务种类
attribute	json	定时任务其他配置，值为 JSON 对象
timeoutConfig（4.1.11.2 版本新增字段）	json	任务控制>容错机制>超时限制配置示例： "timeoutConfig": { "hour": 1, "minute": 0, "enabled": true //是否开启：true 为开启，fasle 为未开启 }
retryConfig（4.1.11.2 版本新增字段）	json	任务控制>容错机制>失败重试配置示例： "retryConfig" :{ "max": 3, //重跑次数 "delayMinute": 2, //间隔时间 "enabled": true //是否开启：true 为开启，fasle 为未开启 },
errorLimitConfig（4.1.11.2 版本新增字段）	integer	任务控制>容错机制>脏数据容忍配置若未设置，则置0
NoticeStore（4.1.11.2 版本新增字段）	json	任务控制>结果通知配置示例： "NoticeStore":{ "notification": true, //是否开启，：true 为开启，fasle 为未开启 "noticeConfig": ["notifyInDetail"] ,//结果通知，若勾选则记录值，notify:任务异常通知、任务失败提醒，默认勾选；notifyInDetail：具体报错信息；notifyDirtyData: 脏数据通知；notifyDirtyDataInDetail: 脏数据汇总信息；notifyDDLChangeEvent: 源表结构变化通知 "userGroup": true, //平台用户组是否配置,true 为配置，fasle 为未配置 "noticeChannels":["sms"],//通知渠道值为JSON数组，sms：短信；platform：平台；email：邮件；Enterprise WeChat app push：企业微信应用推送；Enterprise WeChat robot：企业微信群机器人；Dingtalk app push：钉钉应用推送；Dingtalk group bot：钉钉群机器人；Feishu Push：飞书应用推送；Feishu Group Robot：飞书群机器人 }
WorkPriorityStore（4.1.11.2 版本新增字段）	json	任务控制>任务属性配置示例： "WorkPriorityStore":{ "taskPriority": 2, //任务优先级。最低：-2；低：-1；中：0；高：1；最高：2 "customLogLevel": true, //日志等级是否打开,true 为开启，fasle 为未开启 "logLevel": "ERROR" //日志级别：包括ERROR、WARN、INFO }

fdl_sched_plan_schedule（4.1.11.2 版本新增字段）

记录FDL定时任务调度计划配置信息

字段

类型

含义

plan_id

BIGINT

调度计划ID

plan_name

varchar

调度计划名称

schedule_type

varchar

调度类型

time：定时调度
event：事件调度

plan_type

varchar

计划类型

Single：单任务计划
Batch：批量计划

若为事件调度默认值都为 Batch

schedule_detail

json

示例

若为定时调度：

"schedule_detail_time":{

"task_quantity"：1, //计划任务数

"schedule_status": "open", //调度状态,open ：开启；close ：未开启；ended：已结束

"frequency"：1, //调度的执行频率配置，0：未开启
1：只执行一次；2：简单重复执行；3：明细频率设置；
4：表达式设定

"calendar"： true,//是否引用调度日历，true 为引用，fasle 为未引用

}

若为事件调度：

"schedule_detail_event":[

{

"group_name"："分组名称1",//事件调度分组名称

"group_task_count"：4,//当前分组内的任务数量

"judgment_type"："regular",//regular：定时判断；immediate：实时判断

"judgment_detail":{//条件内容

"limit_count":2,

"time_unit":weeks,//值为weeks：周；days：天；hours：小时；minutes：分钟

"type":"success",//值为success：成功后执行；unconditional：无条件执行，若为定时判断，值固定为success
}

"repeat_judgment": true,//触发当前任务组执行的上游记录，是否不再参与条件的判断，true 为勾选，fasle 为未勾选

}

{

"group_name"："分组名称2",//事件调度分组名称

...
}

...

]

additionalProperties

json

暂无含义

fdl_sched_task_plan_relation（4.1.11.2 版本新增字段）

记录FDL定时任务与调度计划的关系

字段	类型	含义
taskId	BIGINT	定时任务ID
plan_id	BIGINT	调度计划ID
additional_properties	json	暂无含义

fdl_sched_node_info

定时任务的步骤流节点信息

字段	类型	含义
taskId	varchar	定时任务ID
nodeId	varchar	节点ID
nodeName	varchar	节点名称
nodeType	varchar	节点类型
attribute	json	节点其他配置

fdl_sched_component_info

定时任务的数据流算子信息

字段	类型	含义
calNodeId	varchar	算子ID
nodeId	varchar	节点ID
calNodeName	varchar	算子名称
calNodeType	varchar	算子类型
attribute	json	算子其他配置

fdl_sched_node_line_info

定时任务的步骤流连线信息

字段	类型	含义
taskId	varchar	定时任务ID
attribute	json	连线其他配置

fdl_sched_global_para_info

定时任务的全局参数

字段	类型	含义
staticNum	number	静态全局参数数量
dynamicNum	number	动态全局参数数量

fdl_pipe_task_info

管道任务的任务元数据信息

字段	含义
taskId	管道任务ID
taskName	管道任务名称
taskStatus	任务状态： IDLE - 空闲 RUNNING - 运行中 ERROR - 错误 PAUSED - 暂停
syncType	同步类型： FULL_AND_INCREMENTAL - 全量+增量
sourceType	数据来源类型，如 MySQL、Oracle
sourceTypeName	数据来源类型展示名称，如 MySQL、Oracle
sourceConnectionName	数据来源数据连接名称
targetType	数据去向类型
targetTypeName	数据去向展示名称
targetConnectionName	数据去向数据连接名称
firstStartTime	任务首次启动时间
createTime	任务创建时间
updateTime	任务上次修改时间
enableLogicDeletion	是否开启逻辑删除
enableTimestamp	是否开启时间戳
enableDDL	是否开启DDL
dirtyDataThreshold	脏数据阈值（如果未开启，则置0）
tableCount	表数量
logicalKeyTableCount	使用逻辑主键的表数量
physicalKeyTableCount	使用物理主键的表数量
autoCreateTableCount	选择自动建表的表数量
existingTableCount	选择已存在表的表数量
totalColumnCount	总字段数量
enabledSyncColumnCount	开启同步字段数量
primaryKeyColumnCount	主键字段数量
enableErrorMessageNotification	是否开启错误消息通知
enableDDLChangeNotification	是否开启DDL变化消息通知
notificationChannels	消息通知渠道，值为JSON数组，其中： SMS：表示短信通知渠道 Platform：表示平台消息通知渠道 Email：表示邮件通知渠道如：["SMS", "Platform", "Email"]
additionalProperties	还未使用

fdl_srv_api_info

数据服务API配置信息

字段	说明
apiId	API ID
apiName	API名称
apiStatus	API状态 ONLINE（上线） OFFLINE（下线）
apiPath	API路径
reqMethod	API请求方法 GET POST
reqContentType	请求Body格式（API请求方法选择GET时为空） application/json x-www-form-urlencoded
reqTimeout	API请求超时时间（单位毫秒）
sourceType	数据源类型（MySQL、Oracle）
sourceConnectionName	数据源数据连接名称
sqlLength	SQL字符数（去掉换行符）
sqlSpecialCharList	SQL中出现的特殊用法
sqlParamList	SQL参数列表（JSON数组） [{"paraName":"", "paraType":"", "isRequired":""}] paraName：参数名 paraType：参数类型 isRequired：是否必填
additionalProperties	还未使用

fdl_srv_app_info

数据服务应用配置信息

字段	含义
applicationId	应用ID
appName	应用名称
authType	认证方式 EmptyAuth（无认证） DigestSignatureAuth（摘要认证） AppCodeAuth（AppCode认证）
additionalProperties	额外属性，还未使用

fdl_srv_app_api_relation

数据服务应用与API的绑定关系

字段	含义
applicationId	应用ID
apiId	API ID
expTime	过期时间
freqLimit	频率限制
additionalProperties	额外属性，还未使用

4.2 fine_record_fdl_sched_exec_info

任务/节点/算子运行记录。

主要字段介绍如下表所示：

字段	类型	说明
id	varchar	运行记录ID
yearMonth	varchar	埋点年月（YYYYMM）
dayTime	timestamp	埋点日期（年月日）
time	timestamp	埋点时间（年月日时分秒）
ingestTime	varchar	导入到云端的时间
targetId	varchar	对应运行对象（定时任务/节点/算子）ID
category	varchar	一级分类（0:任务, 1:节点, 2：算子）
type	varchar	二级分类（任务固定为 SCHED ;节点/算子则标识节点/算子的类型）
beginTime	varchar	执行开始时间
endTime	varchar	执行结束时间
status	varchar	执行状态
lasting	varchar	执行耗时
extraInfo	varchar	执行补充信息

4.3 fine_record_fdl_pipe_exec_info

管道任务每日运行记录。

主要字段介绍如下表所示：

字段	含义
taskId	管道任务ID
taskName	管道任务名称
taskStatus	任务状态： IDLE - 空闲 RUNNING - 运行中 ERROR - 错误 PAUSED - 暂停
syncType	同步类型：FULL_AND_INCREMENTAL - 全量+增量
fullSyncFinished	全量同步是否已结束
sourceTableName	数据源表名称
targetTableName	数据去向表名称
readRecordCount	读取记录数（距上次统计时增量）
totalReadRecordCount	总读取记录数
toSyncRecordCount	待同步记录数
errorRecordCount	脏数据记录数
insertRecordCount	插入记录数（距上次统计时增量）
totalInsertRecordCount	总插入记录数
updateRecordCount	更新记录数（距上次统计时增量）
totalUpdateRecordCount	总更新记录数
deleteRecordCount	删除记录数（距上次统计时增量）
totalDeleteRecordCount	总删除记录数

4.4 fine_record_fdl_srv_exec_info

数据服务 API 每日调用信息。

字段	说明
apiId	被调用API的ID
applicationId	调用方使用的应用ID
requestTime	请求时间（yyyy-MM-dd HH:mm:ss）
requestResult	请求结果 SUCCESS FAILED
requestIP	请求IP
requestCost	请求耗时
responseDataNum	API返回数据量（行）
responseErrorCode	返回错误码

已经是第一篇

已经是最后一篇

有帮助
没帮助
只是浏览
评价文档，奖励 1 ~ 100 随机 F 豆！

LogDB 表结构

1. 概述

1.1 版本

1.2 功能说明

2. 平台相关

3. FDL 相关：业务表

3.1 数据管道

3.1.1 fine_pipeline_sync_information

3.1.2 fine_pipeline_log

3.2 数据服务

3.2.1 fine_record_fdl_dataservice_monitor_info

3.3 数据开发

3.3.1 fine_dp_work_exec_record

4. FDL 相关：埋点表

4.1 fine_intelli_focus_point

4.2 fine_record_fdl_sched_exec_info

4.3 fine_record_fdl_pipe_exec_info

4.4 fine_record_fdl_srv_exec_info

附件列表