历史版本12 :日志简介 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.1.1
  • 支持设置业务日志的级别

  • 支持备份、还原、清理业务日志

1.2 功能简介

FineDataLink 工程运行时,会生成相关日志文件进行记录。

日志类型
日志内容日志存储
系统日志记录系统运行过程中的一些信息

默认存储在%FDL_HOME%\logs\fanruan.log

不允许修改日志存储位置

操作日志记录普通用户和管理员的使用动作存储在%FDL_HOME%\webapps\webroot\logs\cubes

允许修改日志存储位置

业务日志
执行记录1)记录各业务模块使用过程中产生的记录

对于 FDL,包括:

  • 数据管道:管道任务运行记录

  • 数据开发:定时任务运行记录

  • 数据服务:API调用记录

2)不支持日志的分级

默认存储在 FineDB 数据库 的 fine_dp_work_exec_record、fine_dp_pipeline_execute

不支持在 3.4 节被手动/自动清理

诊断日志1)记录各业务模块使用过程中产生的过程日志

对于FDL,包括:

  • 数据管道:读写过程日志/异常和错误日志

  • 定时任务:读写过程日志/异常和错误日志

  • 数据服务:API 的调用记录/异常和错误日志

2)支持日志的分级

数据管道|数据服务

数据管道的诊断日志默认存储在内置 LogDB 数据库的 fine_pipeline_log、fine_pipeline_sync_information 中

数据服务的诊断日志默认存储在内置 LogDB 数据库的 fine_record_fdl_dataservice_monitor_info 中

上述 3 张表数据,可在本文 3.4 节被手动/自动清理

定时任务默认存储为文件,每条运行记录生成一个文件(路径:%FDL_HOME%\webapps\webroot\WEB-INF\dpworks\record

不支持在 3.4 节被手动/自动清理

2. 系统日志编辑

系统日志记录系统运行过程中的一些信息。

日志存储在%FDL_HOME%\logs\fanruan.log文件里,Tomcat服务器的日志文件catalina.out里也会生成。

不支持修改服务器工程日志存储位置。

不支持自动清理%FDL_HOME%\logs\fanruan.log文件。

每日 0 点定时将 fanruan.log 压缩,用以节省磁盘空间。

2.1 日志级别简介

系统日志输出级别分为五种:DEBUG、INFO、WARN、ERROR、FATAL。

  • 日志级别大小排序(严重程度):FATAL>ERROR>WARN>INFO>DEBUG

  • 日志详细程度排序:FATAL<ERROR<WARN<INFO<DEBUG

Log级别
简介
DEBUG(调试)

指出细粒度信息事件对调试应用程序是非常有帮助的,主要用于开发过程中打印一些运行信息。

INFO(信息)

在粗粒度级别上突出强调应用程序的运行过程,打印一些感兴趣的或者重要的信息。

可以用于生产环境中输出程序运行的一些重要信息,但是不能滥用,避免打印过多的日志。

WARN(警告)表明会出现潜在错误的情形,有些信息不是错误信息,但是也要给程序员的一些提示。
ERROR(错误)

指出虽然发生错误事件,但仍然不影响系统的继续运行。打印错误和异常信息。

如果不想输出太多的日志,可以使用这个级别。

FATAL(致命)

指出每个严重的错误事件将会导致应用程序的退出。

这个级别比较高,属于重大错误,可以直接停止程序了。

2.2 设置日志级别

超级管理员登录 FineDataLink 系统,点击「管理系统>智能运维>平台日志」,点击「全局设置」,可根据需求自行调整日志级别。如下图所示:

注:调节日志级别,仅影响系统日志的输出,不影响操作日志。

32.png

3. 操作日志编辑

3.1 查看操作日志

操作日志默认存储在%FDL_HOME%\webapps\webroot\logs\cubes文件夹中。

全部的操作日志,存储在cubes文件夹中,可通过数据连接进行查询分析。详情请参见:报表日志 LogDB 数据库 。

管理系统>智能运维>平台日志>操作日志中,以表格形式向用户展示操作日志:

  • FDL 的操作日志在此处全部展示。

  • FR、BI 的常用操作日志在此处展示。

3.2 修改存储位置

  • Windows:进入%Tomcat_HOME%\bin目录。寻找名为setenv.bat的文件。如果文件不存在,可以创建一个新的setenv.bat文件。在文件中添加以下行来设置,配置完成后重启工程。等于号“=”后面指定路径,相对路径会自动在bin目录下生成logs文件夹,也可使用绝对路径。

set JAVA_OPTS=%JAVA_OPTS% -DSWIFT_HOME=logs

  • Linux:进入%Tomcat_HOME%\bin目录。寻找名为setenv.sh的文件。如果文件不存在,可以创建一个新的setenv.sh文件。在文件中添加以下行来设置,配置完成后重启工程。等于号“=”后面指定路径,相对路径会自动在bin目录下生成logs文件夹,也可使用绝对路径。

JAVA_OPTS="$JAVA_OPTS -DSWIFT_HOME=logs"

3.3 备份操作日志

操作日志和业务日志统一备份;暂不支持备份系统日志。

注:有部分操作日志和业务日志保存在 LogDB 数据库中,本节备份的是这部分日志数据。

3.3.1 备份操作日志&业务日志

管理员登录 FineDataLink 系统,点击「管理系统>智能运维>平台日志」,点击「全局设置」,可开启「自动备份」按钮。如下图所示:

33.png

操作日志、业务日志实时备份的表包括:

  • fine_record_execute

  • fine_record_operate

  • fine_record_email

  • fine_record_write

  • fine_schedule_record

  • fine_pipeline_log

  • fine_pipeline_sync_information

  • fine_record_fdl_dataservice_monitor_info

开启「自动备份」按钮后,在%FDL_HOME%\webapps\webroot\logs\swift_backup下生成备份文件,按照时间戳来分别储存,如20211105。如下图所示:

备份文件会跟随 3.4 节日志的清理逻辑来清理。

3.3.2 还原操作日志&业务日志

仅当开启了「自动备份」按钮后,方可进行操作日志&业务日志的还原。

点击「备份还原」文字,跳出日期选择框。选择需要还原的日期区间,点击「确定」。

耐心等待一段时间后,跳出「备份还原成功」弹窗,日志即可成功还原。如下图所示:

注1:若还原过程中刷新页面,再次点击「备份还原」文字,会跳出「正在备份」弹窗,请耐心等待即可。

注2:若还原时检测到内存不足,会跳出提示用户清理磁盘。

注3:若还原时检测到备份文件损坏,会提示备份文件损坏,不进行备份。

34.png

3.4 清理操作日志&业务日志

注:有部分操作日志和业务日志保存在 LogDB 数据库中,本节清理的是这部分日志数据。

超级管理员登录 FineDataLink 系统,点击「管理系统>智能运维>平台日志」,点击「全局设置」,可对操作日志&业务日志文件进行清理,可以设置「自动清理」和「手动清理」。

1)自动清理:每隔 3 个月自动清理一次,保留近 3 个月的数据。最少会保留 3 个月,最多实际上会有 6 个月。

2)手动清理:默认保留近 3 个月的数据,可选择 0 天、1 天、1 周、1 个月、3 个月、6 个月、12 个月。

注1:「日志清理」设置仅影响操作日志、业务日志,不影响系统日志。

注2:近 3 个月是指当前日期往前 3 个月的数据,例如 2019-8-19 日手动清理,默认保留 2019-5-19 ~ 2019-8-19 日的数据。

注3:清理日志后发现 cubes 文件夹占用空间仍然很大,原因在于只是清理文件夹里面的文件,不会清理文件夹,该目录下文件夹特别多,而且占用比较大的空间。

注4:清理后显示的「当前日志大小」不是磁盘占用空间的概念,而是实际所有文件的大小。详情参见:

如下图所示:

35.png

3)清理预警

日志文件过大时通知相关用户,相关用户可对日志进行手动清理,减小日志文件大小。

开启预警功能,设置触发条件,例如日志文件大于 xxxM。

短信提醒需要「开启短信功能」,详细设置请查看 短信 ,同时邮件提醒也需要配置发件人,详细设置请查看 邮箱 

然后勾选「短信提醒、平台消息、邮件提醒」,再分别设置设置收件人,设置完成后点击「保存」,如下图所示:

36.png

短信提醒效果如下图所示:

平台消息效果如下图所示:

邮件提醒效果如下图所示:

4. 业务日志-诊断日志编辑

4.1 设置日志级别

1)「业务日志-诊断日志」可设置日志级别,日志级别可选择 ERROR、WARN、INFO,默认选择 WARN 。如下图所示:

37.png

2)业务日志-诊断日志」目前仅作用于管道任务和定时任务。

3)对于管道任务和定时任务,支持调整单个任务的日志输出级别。具体请参见:定时任务单独设置日志输出级别管道任务单独设置日志输出级别

4)若手动修改过任务级别的日志配置,修改全局的日志级别配置时,全局日志的级别不会影响手动修改过日志等级任务的级别。

4.2 备份业务日志-诊断日志

请参见本文 3.3 节内容。

4.3 清理业务日志-诊断日志

 请参见本文 3.4 节内容。