對於維運平台部署的工程,如在部署時勾選了ElasticSearch組件,ElasticSearch會取代swift(logdb)作為日誌儲存 。
如在工程「管理系統>系統管理>標準」介面看到「ElasticSearch連結配置」,說明已啟動ElasticSearch作為日誌儲存 。
請勿使用本文插件同步日誌,本文插件僅適用於swift(logdb)儲存日誌的情況 。
如需連工程日誌服務,請聯絡帆軟技術支援獲取幫助。技術支援聯絡方式: 帆軟官方服務渠道使用説明。
目前 LogDB 資料庫不支援遷移,使用者如果想對日誌資料進行一些複雜分析時較為麻煩,希望日誌資料可以遷移到自己的資料庫中進行管理和分析。
使用者希望把各個系統的日誌都放在同一個地方維運管理。
安裝「平台日誌同步到其他資料庫」插件後,使用者可以透過設定將 LogDB 中的部分表資料定期同步到其它資料庫中。
插件下載請點選:平台日誌同步到其他資料庫插件
插件安裝方法參見:插件管理
由於logdb日誌內容較多,請準備一個獨立的、全新的表空間,用於資料遷移儲存。
不建議logdb資料,與其他業務資料/配置資料存放在同一表空間中。
插件安裝成功後,點選「管理系統>智慧維運>平台日誌」,平台日誌介面新增「日誌同步」Tab,如下圖所示:
1)以管理者身分進入數據決策系統,點選「管理系統>智慧維運>平台日誌」,在「日誌同步」Tab 頁中點選「設定日誌同步任務」,如下圖所示:
2)在日誌同步設定中,選擇「同步日誌起始時間」,勾選需要同步的日誌,點選「下一步」。如下圖所示:
支援同步的日誌表包括:
報表執行日誌 fine_record_execute
登入日誌 fine_record_login
登出日誌 fine_record_logout
郵件傳送日誌 fine_record_email
填報日誌 fine_record_write
常用參陣列合 fine_record_param
簡訊傳送日誌 fine_record_sms
管理行為日誌 fine_record_operate
SQL 執行情況 fine_record_sql
應用實時情況 fine_real_time_usage
gc日誌 fine_record_gc
conf_entity 配置資訊 fine_record_conf
使用者鎖定日誌 fine_record_lock
範本屬性 fine_tpl_info
容器資訊日誌 fine_container_entity
雲端健檢分析操作日誌fine_operation_process_log
信號量資訊 fine_operation_shutdown_record
插件使用資訊記錄 fine_plugin_usage
定時任務執行日誌 fine_schedule_record
功能使用情況 fine_intelli_focus_point
效能資訊日誌 fine_intelli_consume_point
填寫日誌資料將要遷移到的資料庫相關資訊,點選「確定」,如下圖所示:
注:插件每 3 分鐘同步一次,每張表每次最多同步資料 3W 條。如果本次同步的資料不足 3W 條,那最多同步 24 個小時跨度的資料。
例如2021-08-02 13:00:00~16:00:00,有30筆資料,那這次同步就最多同步這30筆資料。
同步成功後,同步狀態如下圖所示:
若勾選「同步失敗時,通知管理者」按鈕,同步失敗時,管理者會收到平台訊息。如下圖所示:
可點選「暫停」按鈕,暫停同步。如下圖所示:
暫停同步或同步失敗時,可點選「編輯」按鈕,重新編輯同步任務。如下圖所示:
“起始時間生效物件”設定說明:
若希望所有被勾選的表都從使用者設定的「同步日誌起始時間」開始同步,則“起始時間生效物件”設定為“所有同步的日誌”;
若希望只有新增加的表從「同步日誌起始時間」的設定值開始同步,其餘已有在同步的表延着之前同步到的地方繼續同步,則“起始時間生效物件”設定為“僅對本次變動的日誌生效”。
點選「查看同步詳情」按鈕,可查看同步詳情。如下圖所示:
只展示上次同步任務的運作狀態。各欄位說明如下表所示:
成功/失敗
運作結果為「失敗」情況下,可以點選查看具體報錯
日誌資料同步到設定的資料庫中。
1)同步後的表,新增了自增長主鍵(syncID),增加了同步時間戳欄位(storageTime)
2)日誌清理 不會影響到已遷移到外接資料庫中的日誌資料。
3)欄位中內容過長可以入庫,但是超過 255 字元的內容會被截斷。
4)欄位名使用資料庫保留名時,為了能夠相容各個版本,針對保留名做別名處理。
改名處理的具體欄位如下表所示:
同步插件會以使用者設定的同步開始時間為起點,按照時間順序分批將日誌同步到第三方資料庫中,插件每3分鐘同步一次,每張表每次最多同步資料3W 條。
如果本次同步的資料不足3W 條,那最多同步 24 個小時跨度的資料(2021-3-23之前最多同步3小時跨度的資料)。
同步失敗,可排查以下資料庫問題。
檢查資料庫驅動、模式、密碼是否正確,可在資料連結處先嚐試是否能正常連結。
資料庫重啟會導致日誌同步中斷,同步終止後要在平台上重新啟動任務。
檢查資料庫使用者是否有建立表和插入資料的權限。
使用者最好需要具備 create、delete、alter、update、select、insert 權限。
MySQL5資料庫編碼建議為utf8,不支援 utf8mb4 編碼。
若為阿里雲rds mysql ,還需要確認引擎是否為innodb。
同步失敗,出現三種現象時,可排查以下插件問題。
問題描述:
1)fanruan.log中報錯有重複的插件包
2)平台日誌同步介面顯示空白
3)平台日誌同步介面顯示英文
檢查是否重複安裝了插件
若重複安裝了,刪除插件,重啟伺服器,重新安裝插件
同步出現問題,可查看fanruan.log,報錯資訊中包含「com.fr.plugin.sync」,可根據報錯資訊定位問題。
SyncLog: getConfigInstance failed!, retry to getConfigInstance!
java.lang.AssertionError: com.fr .plugin.sync.config.status.IsStart has the same tableName with com.fr .plugin.sync.config.status.IsStart
1)安裝了不同版本的平台日誌同步插件,需要在plugins中將插件檔案刪除乾淨,重啟伺服器,再次安裝。
2)同時安裝了「日誌資料同步」 插件和「平台日誌同步到其他資料庫」插件,需將舊版本「日誌資料同步」 插件刪掉。
同步的XXX表太大,swift中止查詢,導致查詢失敗。
平台日誌同步插件無法支援特別大數據量的日誌同步,建議適當清理表資料再同步。
SyncLog: sync failed: com.fr.third.org.hibernate.StaleStateException:
Batch update returned unexpected row count from update [0]; actual row count: 0; expected: 1。
資料庫或表的字元集有問題。
資料庫可能有未提交的交易,導致資料提交失敗。
檢查是否存在沒提交的交易,若存在,處理後再嘗試同步。
Oracle模式填thin就會報錯,將改成帳號即可。
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙