1. 概述
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 4.1.11.4 | - |
| 4.1.13.2 | 增加MQTT输入、IBM MQ输入数据源心跳检测 |
| 4.1.13.4 | 增加转换类算子的运行日志 |
| 4.2.4.3 | 优化日志，详情参见下文标注的版本新增和优化 |
1.2 功能简介
实时任务运行时，会产生运行日志，便于用户查看任务运行情况。如下图所示：
2. 用户需知
设置日志级别后（任务级别日志配置、全局日志配置），打印的日志说明如下表所示：
| 设置的日志级别 | 打印的日志级别 |
|---|---|
INFO级别 | BASIC INFO ERROR WARN INFO |
| WARN级别 | BASIC INFO ERROR WARN |
| ERROR级别 | BASIC INFO ERROR |
3. 任务启动过程
| 事件 | 日志等级 | 打印日志 |
|---|---|---|
| 开始启动 | BASIC INFO | yyyy-mm-dd hh:min:ss 任务开始启动 |
| 重置启动 | BASIC INFO | yyyy-mm-dd hh:min:ss 任务开始重置启动 4.2.4.3 版本新增 |
| 配置检查 - lic检查 | ERROR | yyyy-mm-dd hh:min:ss 注册功能点异常 详细报错：..... |
配置检查 - 外置引擎检查 | BASIC INFO | yyyy-mm-dd hh:min:ss 成功连接外置引擎 |
| ERROR | yyyy-mm-dd hh:min:ss 外置引擎连接异常 详细报错：..... | |
| ERROR | yyyy-mm-dd hh:min:ss 外置引擎提交任务异常 详细报错：..... | |
配置检查 - 传输队列检查 （仅有CDC输入时打印） | ERROR | yyyy-mm-dd hh:min:ss 传输队列连接异常 详细报错：..... |
| 配置检查 - 数据连接检查 | ERROR | yyyy-mm-dd hh:min:ss XX数据连接异常 详细报错：..... |
| 配置检查 - 任务配置有效性检查 | ERROR | yyyy-mm-dd hh:min:ss 任务配置异常 详细报错：..... |
| 配置检查 - 连接异常 | ERROR | yyyy-mm-dd hh:min:ss XX数据连接异常 |
| 配置检查 - 获取待解析日志列表失败 | ERROR | yyyy-mm-dd hh:min:ss 获取待解析日志列表失败（仅Oracle19c） 详细报错：..... |
| 配置检查 - 状态检查 | ERROR | yyyy-mm-dd hh:min:ss 不兼容任务历史运行状态，恢复启动失败，请重置启动 详细报错：..... |
| 配置检查 - 日志断点无效 | ERROR | yyyy-mm-dd hh:min:ss 日志断点失效，请重置启动，防止数据丢失 |
| 配置检查 - 日志保存时间过短 | WARN | yyyy-mm-dd hh:min:ss 源端日志保存时间过短，建议将日志保留时间至少设置为7天，否则可能出现任务暂停后再启动时日志断点失效 |
| 配置检查成功 | BASIC INFO | yyyy-mm-dd hh:min:ss 任务配置检查成功 当前任务同步类型：全量量+增量 / 仅增量 / 指定时间 当前任务增量起点：（日志号+对应时间）（如果任务是全量+增量，就不打印此行） |
| 启动断点应用 | BASIC INFO | yyyy-mm-dd hh:min:ss 【算子名称】从上次暂停的断点启动 断点详情：.... |
| 启动失败 | ERROR | yyyy-mm-dd hh:min:ss 内置引擎内存、并发数不足（受内存和并发控制）
当前任务超出内存限制，请调整负载分配后重启任务
当前任务超出并发限制，请调整负载分配后重启任务 |
| 启动成功 | BASIC INFO | yyyy-mm-dd hh:min:ss 任务启动成功 |
| 断点应用 | BASIC INFO | yyyy-mm-dd hh:min:ss 断点详情：.... 4.2.4.3 版本新增 |
4. 任务运行过程
| 事件 | 日志等级 | 打印日志 |
|---|---|---|
全量同步 | BASIC INFO | yyyy-mm-dd hh:min:ss 【算子名称】开始全量同步 |
| ERROR | yyyy-mm-dd hh:min:ss 【算子名称】全量数据读取异常 | |
| BASIC INFO | yyyy-mm-dd hh:min:ss 【算子名称】全量同步成功，等待进入增量同步 | |
| 开始增量同步 | BASIC INFO | yyyy-mm-dd hh:min:ss 【算子名称】开始增量同步 |
传输队列连接异常 （仅有CDC输入时打印） | ERROR | yyyy-mm-dd hh:min:ss 传输队列连接异常 错误详情：... |
外置引擎连接异常 （仅在外置引擎运行时打印） | ERROR | yyyy-mm-dd hh:min:ss 外置引擎连接异常 错误详情：... |
源端增量读取异常 （造成任务中断） | ERROR | yyyy-mm-dd hh:min:ss 【算子名称】增量数据读取异常 错误详情：... |
源端增量读取告警 （不中断仅记录） | WARN | yyyy-mm-dd hh:min:ss 【算子名称】增量数据读取告警 告警详情：.... |
| 源端增量读取信息 | INFO | yyyy-mm-dd hh:min:ss 【算子名称】增量数据读取信息 信息详情：... |
JSON解析异常 （造成任务中断或记录脏数据） | ERROR | yyyy-mm-dd hh:min:ss 【算子名称】JSON解析异常 错误详情：... |
目标端数据写入异常 （造成任务中断或记录脏数据） | ERROR | yyyy-mm-dd hh:min:ss 【算子名称】数据输出写入异常 错误详情：... |
目标端数据写入告警 （不中断仅记录） | WARN | yyyy-mm-dd hh:min:ss 【算子名称】数据写入告警 告警详情：... |
| 目标端数据写入信息 | INFO | yyyy-mm-dd hh:min:ss 【算子名称】数据写入信息 信息详情：... |
| 数据源心跳检测（持续定期记录） | BASIC INF O 注：4.2.4.3 版本修改为BASIC INFO，保证当同步赶上进度后仍然持续有日志 | 当前读取步骤：XXX 当前FDL服务器时间：2023-11-15 14:47:54 每5S打印一次 4.2.4.3 版本优化： 「当前读取的日志时间」、「当前FDL服务器时间」这两个属性，每隔5S的心跳日志，都实时刷新 |
| 数据关联异常 | ERROR | yyyy-mm-dd hh:min:ss 【算子名称】数据关联异常 错误详情：... |
数据关联实时数据源和维度表join信息 （打印出每一条数据，join的维度表信息） | INFO | yyyy-mm-dd hh:min:ss 【算子名称】join维度表信息 信息详情... |
| 列转行异常 | ERROR | yyyy-mm-dd hh:min:ss 【算子名称】列转行异常 错误详情：... |
| 字段拆行异常 | ERROR | yyyy-mm-dd hh:min:ss 【算子名称】字段拆行异常 错误详情：... |
| 字段拆列异常 | ERROR | yyyy-mm-dd hh:min:ss 【算子名称】字段拆列异常 错误详情：... |
| 字段设置异常 | ERROR | yyyy-mm-dd hh:min:ss 【算子名称】字段设置异常 错误详情：... |
| 新增计算列异常 | ERROR | yyyy-mm-dd hh:min:ss 【算子名称】新增计算列异常 错误详情：... |
| xml解析异常 | ERROR | yyyy-mm-dd hh:min:ss 【算子名称】xml解析异常 错误详情：... |
| 数据过滤异常 | ERROR | yyyy-mm-dd hh:min:ss 【算子名称】数据过滤异常 错误详情：... |
| 值替换异常 | ERROR | yyyy-mm-dd hh:min:ss 【算子名称】值替换异常 错误详情：... |
5. 任务暂停过程
| 事件 | 日志等级 | 打印日志 |
|---|---|---|
开始暂停 | BASIC INFO | yyyy-mm-dd hh:min:ss 任务开始暂停 |
| 暂停失败 | ERROR | yyyy-mm-dd hh:min:ss 任务暂停失败 错误详情：.... |
| 暂停成功 | BASIC INFO | yyyy-mm-dd hh:min:ss 任务暂停成功 |
6. 任务失败重试过程
| 事件 | 日志等级 | 打印日志 |
|---|---|---|
开始失败重试 | BASIC INFO | yyyy-mm-dd hh:min:ss 任务开始失败重试(第N次重试） |
| 失败重试异常 | ERROR | yyyy-mm-dd hh:min:ss 任务失败重试异常 异常原因：... |
| 失败重试次数超过阈值 | ERROR | yyyy-mm-dd hh:min:ss 任务重试次数超过阈值[X] |
7. 任务报错中止过程
| 事件 | 日志等级 | 打印日志 |
|---|---|---|
已终止 | BASIC INFO | yyyy-mm-dd hh:min:ss 任务报错，停止运行 |
8. 脏数据处理过程
| 事件 | 日志等级 | 打印日志 |
|---|---|---|
记录脏数据 | WARN | yyyy-mm-dd hh:min:ss 新增脏数据 脏数据详情：... |
上一篇：管道任务处理脏数据
