平台日誌同步到其他資料庫插件

1.1 版本

1.2 應用場景

• 目前 LogDB 資料庫不支援遷移，使用者如果想對日誌資料進行一些複雜分析時較為麻煩，希望日誌資料可以遷移到自己的資料庫中進行管理和分析。
  

• 使用者希望把各個系統的日誌都放在同一個地方維運管理。

1.3 功能簡介

安裝「平台日誌同步到其他資料庫」插件後，使用者可以透過設定將 LogDB 中的部分表資料定期同步到其它資料庫中。

2.1 安裝插件

插件下載請點選：平台日誌同步到其他資料庫插件

插件安裝方法參見：插件管理

2.2 支援遷移到的資料庫

由於logdb日誌內容較多，請準備一個獨立的、全新的表空間，用於資料遷移儲存。

不建議logdb資料，與其他業務資料/配置資料存放在同一表空間中。

2.3 日誌同步

插件安裝成功後，點選「管理系統>智慧維運>平台日誌」，平台日誌介面新增「日誌同步」Tab，如下圖所示：

3.1 選擇所要同步的日誌

1）以管理者身分進入數據決策系統，點選「管理系統>智慧維運>平台日誌」，在「日誌同步」Tab 頁中點選「設定日誌同步任務」，如下圖所示：

2）在日誌同步設定中，選擇「同步日誌起始時間」，勾選需要同步的日誌，點選「下一步」。如下圖所示：

支援同步的日誌表包括：

• 報表執行日誌 fine_record_execute

• 登入日誌 fine_record_login

• 登出日誌 fine_record_logout

• 郵件傳送日誌 fine_record_email

• 填報日誌 fine_record_write

• 常用參陣列合 fine_record_param

• 簡訊傳送日誌 fine_record_sms

• 管理行為日誌 fine_record_operate

• SQL 執行情況 fine_record_sql
  

• 應用實時情況 fine_real_time_usage

• gc日誌 fine_record_gc

• conf_entity 配置資訊 fine_record_conf

• 使用者鎖定日誌 fine_record_lock

• 範本屬性 fine_tpl_info

• 容器資訊日誌 fine_container_entity

• 功能點資訊日誌 fine_function_process

• 雲端健檢分析操作日誌fine_operation_process_log

• 信號量資訊 fine_operation_shutdown_record

• 插件使用資訊記錄 fine_plugin_usage

• 定時任務執行日誌 fine_schedule_record

• 功能使用情況 fine_intelli_focus_point

• 效能資訊日誌 fine_intelli_consume_point
  

3.2 配置資料庫資訊

填寫日誌資料將要遷移到的資料庫相關資訊，點選「確定」，如下圖所示：

4.1 同步狀態

注：插件每 3 分鐘同步一次，每張表每次最多同步資料 3W 條。如果本次同步的資料不足 3W 條，那最多同步 24 個小時跨度的資料。

      例如2021-08-02 13:00:00~16:00:00，有30筆資料，那這次同步就最多同步這30筆資料。

同步成功後，同步狀態如下圖所示：

4.1.1 同步失敗時，通知管理者

若勾選「同步失敗時，通知管理者」按鈕，同步失敗時，管理者會收到平台訊息。如下圖所示：

4.1.2 暫停同步

可點選「暫停」按鈕，暫停同步。如下圖所示：

4.1.3 編輯同步設定

暫停同步或同步失敗時，可點選「編輯」按鈕，重新編輯同步任務。如下圖所示：

“起始時間生效物件”設定說明：

若希望所有被勾選的表都從使用者設定的「同步日誌起始時間」開始同步，則“起始時間生效物件”設定為“所有同步的日誌”；

若希望只有新增加的表從「同步日誌起始時間」的設定值開始同步，其餘已有在同步的表延着之前同步到的地方繼續同步，則“起始時間生效物件”設定為“僅對本次變動的日誌生效”。

4.1.4 查看同步詳情

點選「查看同步詳情」按鈕，可查看同步詳情。如下圖所示：

只展示上次同步任務的運作狀態。各欄位說明如下表所示：

4.2 日誌資料同步到資料庫

日誌資料同步到設定的資料庫中。

1）同步後的表，新增了自增長主鍵（syncID），增加了同步時間戳欄位（storageTime）

2）日誌清理 不會影響到已遷移到外接資料庫中的日誌資料。

3）欄位中內容過長可以入庫，但是超過 255 字元的內容會被截斷。

4）欄位名使用資料庫保留名時，為了能夠相容各個版本，針對保留名做別名處理。

改名處理的具體欄位如下表所示：

5.1 同步邏輯

5.2 資料庫問題

同步失敗，可排查以下資料庫問題。

5.3 插件問題

同步失敗，出現三種現象時，可排查以下插件問題。

問題描述：

1）fanruan.log中報錯有重複的插件包

2）平台日誌同步介面顯示空白

3）平台日誌同步介面顯示英文

5.4 常見報錯

同步出現問題，可查看fanruan.log，報錯資訊中包含「com.fr.plugin.sync」，可根據報錯資訊定位問題。