平台日志同步到其他数据库插件

  • 文档创建者:Wendy123456
  • 编辑次数:11次
  • 最近更新:Carly 于 2021-01-20
  • 1. 概述

    1.1 版本

    报表服务器版本JAR平台日志同步到其他数据库插件
    10.0
    2020-05-06V1.0.0

    1.2 应用场景

    • 目前 LogDB 数据库不支持迁移,用户如果想对日志数据进行一些复杂分析时较为麻烦,希望日志数据可以迁移到自己的数据库中进行管理和分析。

    • 用户希望把各个系统的日志都放在同一个地方运维管理。

    1.3 功能简介

    安装「平台日志同步到其他数据库」插件后,用户可以通过设置将 LogDB 中的部分表数据定期同步到其它数据库中。

    2. 插件介绍

    2.1 安装插件

    插件下载请点击:平台日志同步到其他数据库插件

    设计器插件安装方法请参见:设计器插件管理

    服务器安装插件方法请参见:服务器插件管理

    2.2 支持迁移到的数据库

    数据库类型JAR 包版本支持数据库版本
    MySQL不限
    5.1.73、5.5.31、5.5.46、5.5.56、5.6.22、5.6.31、5.7.16
    SQL Server不限
    2000、2005、2008、2012、2014、2016
    2019-02-282017
    Oracle不限
    10g、11g、12c、9i

    2.3 日志同步

    插件安装成功后,点击「管理系统>智能运维>平台日志」,平台日志界面新增「日志同步」Tab,如下图所示:

    2.png

    3. 示例

    3.1 选择所要同步的日志

    1)以管理员身份进入数据决策系统,点击「管理系统>智能运维>平台日志」,在「日志同步」Tab 页中点击「设置日志同步任务」,如下图所示:

    2.png

    2)在日志同步设置中,选择「同步日志起始时间」,勾选需要同步的日志,点击「下一步」。如下图所示:

    1598238697269900.png

    支持同步的日志表包括:

    • 报表执行日志 fine_record_execute

    • 登录日志 fine_record_login

    • 邮件发送日志 fine_record_email

    • 填报日志 fine_record_write

    • 短信发送日志 fine_record_sms

    • 管理行为日志 fine_record_operate

    • 应用实时情况 fine_real_time_usage

    • gc日志 fine_record_gc

    • 功能使用情况 fine_intelli_focus_point

    3.2 配置数据库信息

    填写日志数据将要迁移到的数据库相关信息,点击「确定」,如下图所示:

    1598239612331686.png

    4. 效果查看

    4.1 同步状态

    注:同步间隔为 3 分钟,每张表每次最多同步数据 3W 条。

    同步成功后,同步状态如下图所示:

    7.png

    4.1.1 同步失败时,通知管理员

    若勾选「同步失败时,通知管理员」按钮,同步失败时,管理员会收到平台消息。如下图所示:

    1598250793260794.png

    4.1.2 暂停同步

    可点击「暂停」按钮,暂停同步。如下图所示:

    8.png

    4.1.3 编辑同步设置

    暂停同步或同步失败时,可点击「编辑」按钮,重新编辑同步任务。如下图所示:

    23.png

    “起始时间生效对象”设置说明:

    若希望所有被勾选的表都从用户设置的「同步日志起始时间」开始同步,则“起始时间生效对象”设置为“所有同步的日志”;

    若希望只有新增加的表从「同步日志起始时间」的设置值开始同步,其余已有在同步的表延着之前同步到的地方继续同步,则“起始时间生效对象”设置为“仅对本次变动的日志生效”;

    若希望暂停部分表的同步,其余表延着之前同步到的地方继续同步,则“起始时间生效对象”设置为“仅对本次变动的日志生效”,再取消对需要暂停同步表的勾选。

    4.1.4 查看同步详情

    点击「查看同步详情」按钮,可查看同步详情。如下图所示:

    注:同步期初由于系统在搜寻数据库中有没有数据,“最近一次同步数据量”会显示为0。

    17.png

    只展示上次同步任务的运行状态。各字段说明如下表所示:

    字段名称说明
    同步表所选择的同步日志
    同步日志截止时间最近一次执行结束的同步任务中,入库日志的最晚时间,表示在「同步日志起始时间」到此时间点之间的日志都已经入库了
    最近一次同步时间最近一次执行结束同步任务的开始执行时间
    最近一次同步数据量最近一次执行结束同步任务同步的日志记录数
    最近一次同步耗时最近一次执行结束同步任务执行的耗时
    运行结果

    成功/失败

    运行结果为「失败」情况下,可以点击查看具体报错

    4.2 日志数据同步到数据库

    日志数据同步到设置的数据库中。如下图所示:

    注:字段中内容过长可以入库,但是超过 255 字符的内容会被截断。

    1599185626318069.png

    同步后的表,新增了自增长主键(syncID),增加了时间戳字段(storageTime),示例如下图所示:

    1599185951990922.png

    字段名使用数据库保留名时,为了能够兼容各个版本,针对保留名做别名处理。改名处理的具体字段如下所示:


    原字段名称迁移后字段名称
    FINE_RECORD_OPERATEtypeoperateType
    resourceoperateResource
    statusoperateStatus
    FINE_RECORD_EXECUTEtypeexecuteType
    sqlquery
    sqlTimequeryTime
    FINE_RECORD_WRITEsqlquery
    sqlTimequeryTime

    附件列表


    主题: 数据决策系统
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!