1. 概述
1.1 版本
| FineDataLink版本 | 功能变动 |
|---|---|
| 4.1.7.3 | fine_dp_work_exec_record表迁移到logdb中，表名不变，后续数据均写入迁移后数据表。升级后会将历史运行记录迁移到LogDB中。 |
1.2 功能说明
本文将简单介绍 LogDB 数据库中各个数据表和表字段的含义。
2. 平台相关
平台相关的 LogDB 数据表及表字段请参见：LogDB 表结构
3. FDL 相关：业务表
3.1 数据管道
3.1.1 fine_pipeline_sync_information
历史同步数据表。
| 字段 | 说明 |
|---|---|
| uuid | UUID |
| time | 时间戳 |
| taskId | 任务ID |
| sourceTableId | 源表ID |
| readInsertNum | 来源端插入行数 |
| readUpdateNum | 来源端更新行数 |
| readDeleteNum | 来源端删除行数 |
| writeInsertNum | 目标端插入行数 |
| writeUpdateNum | 目标端更新行数 |
| writeDeleteNum | 目标段删除行数 |
| writeFaildNum | 目标端写入失败行数 |
3.1.2 fine_pipeline_log
管道日志表。
| 字段 | 说明 |
|---|---|
| uuid | UUID |
| time | 时间戳 |
| taskId | 任务ID |
| sourceTableId | 源表ID |
| logType | 日志分类信息
|
| logLevel | 日志等级：1-INFO；2-WARN；3-ERROR；8-BASIC |
| logClass | 日志分类：0-表级别；1-任务级别 |
| desc | 日志描述 |
| detail | 日志详情 |
3.2 数据服务
3.2.1 fine_record_fdl_dataservice_monitor_info
数据服务调用记录表。
| 字段 | 含义 |
|---|---|
| uuid | 调用记录ID |
| time | 调用时间 |
| apiUid | API的ID |
| apiName | API名称 |
| apiUrl | API相对路径 |
| apiFolder | API所在文件夹 |
| apiGroupUid | API应用ID |
| apiGroupName | API应用名称 |
| requestId | 请求ID |
| requestIp | 请求IP |
| requestMethod | 请求方法 |
| requestHandleTime | 请求处理时刻 |
| requestSize | 请求体大小 |
| statusCode | 状态码 |
| responseSize | 响应体大小 |
| responseDataRowCount | 响应行数 |
| serviceLatency | 服务耗时 |
| dataProcessLatency | 数据处理耗时 |
| errorMessage | 错误信息 |
| exception | 错误详情 |
3.3 数据开发
3.3.1 fine_dp_work_exec_record
历史运行记录表，新的运行记录直接进行插入。
4.1.7.3 以及之后的版本，从 FineDB 迁移到 LogDB 中，表名不变。
查询运行记录时：
1）查询最近一次，实际上去查 FineDB 的 fine_dp_work_last_record 的数据
2）查询全量数据，实际上去查 FineDB 的 fine_dp_work_last_record 和 LogDB 的 fine_dp_work_exec_record 聚合后去重的数据。
注：定时任务每执行一次，都会生成一条执行记录。
| 字段 | 类型 | 说明 |
|---|---|---|
| id | varchar | 主键字段uuid，实例id |
| dirtyDataNum | bigint | 脏数据条数 |
| finishTime | bigint | 任务完成时间 |
| lastModifiedTime | bigint | 最近修改时间 |
| path | varchar | 运行实例统计信息和任务快照存储路径。值示例：dpworks/record/2024-03-13/04c51446-0053-48f3-b507-bad1bdf46592.log |
| sourceExecuteId | varchar | 被重试的实例id，重试时有值，否则为null |
| startTime | bigint | 任务开始时间 |
| taskId | varchar | 任务id |
| taskStatus | varchar | 任务运行状态，包括初始状态（INITIAL）、构建失败（BUILD_FAIL）、排队中（QUEUING）、运行中（RUNNING）、任务成功（SUCCESS）、任务执行报错（ERROR）、任务失效（INVALID）、任务中断（INTERRUPT） |
| triggerBy | varchar | 触发者，手动触发为用户名；调度触发则为调度计划id |
| triggerMethod | varchar | 任务触发类型，包括定时触发（FIX_TIME）、手动触发（MANUAL）、手动重试（MANUAL_RETRY）、时间触发（EVENT） |
| triggerTime | bigint | 触发时间 |
4. FDL 相关：埋点表
表间关系如下所示：
下图中黄色字段，为 fine_intelli_focus_point 表中，body 字段解析后得到的字段。
4.1 fine_intelli_focus_point
功能埋点主表。
主要字段介绍如下表所示：
| 字段 | 类型 | 说明 |
|---|---|---|
| appId | varchar | 工程ID |
| yearMonth | varchar | 埋点年月（YYYYMM） |
| dayTime | timestamp | 埋点日期（年月日） |
| time | timestamp | 埋点时间（年月日时分秒） |
| ingestTime | varchar | 导入到云端的时间 |
| frFullVersion | varchar | FR版本信息 |
| biFullVersion | varchar | BI版本信息 |
| cloudVersion | varchar | 云端运维插件版本信息 |
| body | json | 根据 id 值的不同，代表不同模块信息；解析后，包含多个字段 |
| id | varchar | 不同 id 值，代表不同模块信息 |
根据 id 值的不同，代表不同模块信息。详情见下表说明：
| id 值 | 含义 | body 字段解析后包含字段 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| fdl_global_info | FDL全局 | globalInfo：代表FDL版本信息 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| fdl_sched_task_info | 定时任务的任务元数据信息 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| fdl_sched_node_info | 定时任务的步骤流节点信息 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| fdl_sched_component_info | 定时任务的数据流算子信息 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| fdl_sched_node_line_info | 定时任务的步骤流连线信息 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| fdl_sched_global_para_info | 定时任务的全局参数 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| fdl_pipe_task_info | 管道任务的任务元数据信息 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| fdl_srv_api_info | 数据服务API配置信息 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| fdl_srv_app_info | 数据服务应用配置信息 |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| fdl_srv_app_api_relation | 数据服务应用与API的绑定关系 |
|
4.2 fine_record_fdl_sched_exec_info
任务/节点/算子运行记录。
主要字段介绍如下表所示：
| 字段 | 类型 | 说明 |
|---|---|---|
| id | varchar | 运行记录ID |
| yearMonth | varchar | 埋点年月（YYYYMM） |
| dayTime | timestamp | 埋点日期（年月日） |
| time | timestamp | 埋点时间（年月日时分秒） |
| ingestTime | varchar | 导入到云端的时间 |
| targetId | varchar | 对应运行对象（定时任务/节点/算子）ID |
| category | varchar | 一级分类（0:任务, 1:节点, 2：算子） |
| type | varchar | 二级分类（任务固定为 SCHED ;节点/算子则标识节点/算子的类型） |
| beginTime | varchar | 执行开始时间 |
| endTime | varchar | 执行结束时间 |
| status | varchar | 执行状态 |
| lasting | varchar | 执行耗时 |
| extraInfo | varchar | 执行补充信息 |
4.3 fine_record_fdl_pipe_exec_info
管道任务每日运行记录。
主要字段介绍如下表所示：
| 字段 | 含义 |
|---|---|
| taskId | 管道任务ID |
| taskName | 管道任务名称 |
| taskStatus | 任务状态： IDLE - 空闲 RUNNING - 运行中 ERROR - 错误 PAUSED - 暂停 |
| syncType | 同步类型：FULL_AND_INCREMENTAL - 全量+增量 |
| fullSyncFinished | 全量同步是否已结束 |
| sourceTableName | 数据源表名称 |
| targetTableName | 数据去向表名称 |
| readRecordCount | 读取记录数（距上次统计时增量） |
| totalReadRecordCount | 总读取记录数 |
| toSyncRecordCount | 待同步记录数 |
| errorRecordCount | 脏数据记录数 |
| insertRecordCount | 插入记录数（距上次统计时增量） |
| totalInsertRecordCount | 总插入记录数 |
| updateRecordCount | 更新记录数（距上次统计时增量） |
| totalUpdateRecordCount | 总更新记录数 |
| deleteRecordCount | 删除记录数（距上次统计时增量） |
| totalDeleteRecordCount | 总删除记录数 |
4.4 fine_record_fdl_srv_exec_info
数据服务 API 每日调用信息。
| 字段 | 说明 |
|---|---|
| apiId | 被调用API的ID |
| applicationId | 调用方使用的应用ID |
| requestTime | 请求时间（yyyy-MM-dd HH:mm:ss） |
| requestResult | 请求结果
|
| requestIP | 请求IP |
| requestCost | 请求耗时 |
| responseDataNum | API返回数据量（行） |
| responseErrorCode | 返回错误码 |
