1. 概述
2. 資料包獲取
管理者登入數據決策系統,點選「管理系統>智慧維運>雲端健檢分析」,點選「下載日誌」即可下載雲端健檢分析資料包。如下圖所示:
3. 資料包整體結構
3.1 月資料包
1)下載後的檔案解壓後,有多個月資料包+資料包資訊檔案( json 格式)。如下圖所示:
package.json 檔案中資訊為應用名稱、應用 ID 、所有資料包所屬月份以及該資料包所含月資料包的個數。
2)單個月資料包解壓後,有多個日資料包+該月資料包資訊檔案( json 格式)。如下圖所示:
package.json 檔案中資訊為應用名稱、應用 ID 、該月資料包所屬月份以及該月資料包所含日資料包的個數。
3.2 日資料包
日資料包解壓後有多張 CSV 表。如下圖所示:
4. 資料表-通用&FR
4.1 package
應用的基本資訊,每個資料包裏都包含這個,用於鑑別資料包的來源。
欄位 | 含義 |
---|---|
appname | 應用名稱 |
appid | 應用ID |
time | 資料包時間,例如20230905(自動匯出情況下:每日凌晨四點匯出前一天的包,記為匯出日期的前一日) |
version | 雲端健檢分析版本 |
DAU | 當日登入該工程的使用者數 |
gcRecord | 當日該工程GC次數 |
BIUpdateTask | 當日該工程BI更新任務數 |
BIExecute | 當日使用者存取該工程FineBI儀表板次數 |
recordOperate | 當日使用者對該工程進行管理操作次數 |
execute | 當日使用者存取該工程FineReport範本次數 |
focusPoint | 當日該工程功能點使用次數 |
honeypot | 埋點記錄次數 |
realTime | 當日該應用實時情況記錄次數 |
engineQueryPerformance | 引擎埋點記錄次數 |
biDailyOperation | 當日使用者對該工程FineBI儀表板、組件、資料集編輯查看次數 |
BIUpdateTaskDetail | 當日該工程BI更新任務明細記錄數 |
fdlExecutorTask | FDL任務/節點/算子運作情況記錄次數 |
logpoint | 埋點報錯資訊記錄次數 |
biUserLifecycle | FineBI使用者流失記錄條數 |
consumePoint | 當日該工程範本效能記錄次數 |
recordWrite | 當日該工程FineReport報表填報次數 |
templateError | 當日該工程報錯日誌記錄條數 |
processLog | 當日該工程雲端健檢分析任務運作次數 |
executeSql | SQL 執行記錄明細條數 |
4.2 execute
範本使用情況,記錄範本的執行明細。
欄位 | 備註 |
---|---|
id | 主鍵 |
tname | 物理範本名稱(reportlet 下的完整路徑) |
displayName | 掛載到平台的目錄名稱(全路徑),如果直接存取連結則為空 |
time | 記錄的時間,到秒即可 |
memory | 報表佔用記憶體,單位 B |
type | 報表存取方式 |
consume | 後台耗時 |
sqlTime | SQL 執行耗時間 |
reportId | 範本 ID |
userId | 使用者 ID |
ip | 使用者所在ip(加密匯出) |
complete | 是否計算完成 |
source | 連結存取/平台存取 |
brower | 瀏覽器 |
sessionID | 對話ID,用於與效能埋點表中的前端渲染耗時相關埋點進行聯動 |
node | 載入範本的節點名 |
error | 範本執行程式中第一個報錯資訊 |
webInfo | 範本執行資訊 webResolution:當前範本執行在前端存取時的解析度,記錄格式為x*y fullScreen:當前範本執行在前端存取時是否是全螢幕模式,記錄格式為1/0 |
fineMarkId | 一個使用者的標識id(用於判斷非登入場景下的使用者數) |
estimate | 估算記憶體(非格子計算),單位KB |
frFullVersion | FineReport工程模組版本 |
biFullVersion | FineBI工程模組版本 |
cloudVersion | 雲端健檢分析插件版本 |
4.3 executesql
記錄 SQL 的執行記錄明細。
欄位 | 備註 |
---|---|
time | 執行時間,時間戳格式 |
executeid | 執行表 ID |
dsname | 資料集的名稱 |
sqltime | SQL 執行時間,單位毫秒 |
rows | 資料集規模,行 |
columns | 資料集規模,列 |
connection | 資料連結名 |
connectionID | 資料連結標識 ID,用於與功能埋點表中的資料源連結相關埋點進行聯動 |
4.4 realTime
應用的實時情況,每分鐘記錄一條。
欄位 | 備註 |
---|---|
time | 記錄時間,每分鐘一條 |
node | 節點名 |
cpu | CPU 利用率 |
memory | 當前 jvm 記憶體情況 |
sessionnum | 存活對話數 |
onlinenum | 系統線上人數 |
pid | 進程 pid |
templateRequest | 正在計算的範本請求數 |
httpRequest | 總的正在處理的 http 請求數 |
sessionRequest | 正在處理的帶 SessionID 的請求數 |
fineIO | fineIO佔用堆外記憶體大小,單位 KB |
NIO | NIO佔用堆外記憶體大小,單位 KB |
bufferMemUse | 堆外使用總記憶體,directMem「nio」和mappedMem,單位 KB |
physicalMemUse | 物理記憶體已使用空間,單位 KB |
physicalMemFree | 物理記憶體閒置空間,單位 KB |
4.5 consumepoint
範本的效能情況,每日記錄一次。
欄位 | 含義 | 備註 |
---|---|---|
id | 埋點 id 編號 | |
source | 埋點來源 | Original 類 1 表示當前系統的 0 表示插件的埋點 -1 表示沒有定義來源 |
time | 開始時間 | 開始時間(時間戳格式) |
username | 帳號ID | 進行了轉碼處理 |
ip | 使用者ip | 進行了轉碼處理 |
finish | 結束時間 | FineReport 欄位,FineBI不適用 |
consume | 耗時,單位 ms | - |
memory | 記憶體大小,單位 byte | FineReport 欄位,FineBI不適用 |
title | 資源 id | 可以是範本id,分析表id,表id等 |
text | 資源內容 | FineReport 欄位,FineBI不適用 |
type | 操作類型 | FineReport 欄位,FineBI不適用 |
comment | 資源備註 | FineReport 欄位,FineBI不適用 |
body | 埋點具體資訊 | - |
frFullVersion | FineReport工程模組版本 | - |
biFullVersion | FineBI工程模組版本 | - |
cloudVersion | 雲端健檢分析插件版本 | - |
4.6 focusPoint
記錄功能點的使用情況,以及各種埋點資訊。
欄位 | 說明 | 備註 |
---|---|---|
id | 功能點 id | 例如:FR-F4001 |
source | 埋點來源 | 功能點的類型 embed 表示當前系統的 plugin 表示插件的埋點 undefined表示沒有定義來源 |
time | 時間 | 使用該功能的時間點 |
username | 帳號 | 帳號ID,進行了轉碼處理 |
ip | 使用者IP | 使用者IP,進行了轉碼處理 |
title | 標題 | 主要內容 |
text | 內容 | 功能點的主要資訊 |
body | 埋點具體資訊 | 埋點具體資訊,一個 json 資料結構,根據不同的埋點裏面存放不同的資訊(次要資訊,可能為空) |
frFullVersion | FineReport工程模組版本 | - |
biFullVersion | FineBI工程模組版本 | - |
cloudVersion | 雲端健檢分析插件版本 | - |
4.7 templateError
錯誤日誌記錄表:記錄系統中發生過的報錯日誌。
欄位 | 含義 |
---|---|
tname | 出錯的物理範本名稱(reportlet下的完整路徑) |
time | 出錯記錄時間 |
displayName | 掛載到平台的目錄名稱(全路徑) 如果為空時,判斷 platformDisplay是否為0,為零時平台前端顯示處理為國際化的“非掛載存取” |
result | 是否成功預覽 1:預覽成功 0:預覽失敗 |
code | 錯誤程式碼 |
platformDisplay | 是否掛載存取 1:表示掛載存取 0:表示url存取 |
username | 執行報表的使用者 notLogged:表示未登入存取 fromSchedule:表示來自排程管理 |
4.8 gcRecord
記錄系統的 GC 資訊。
欄位 | 資料類型 & 單位 | 備註 |
---|---|---|
time | long timestamp | 記錄時間 |
gcStartTime | long timestamp | GC 開始時間 |
gcType | String | GC 類型 |
gcCause | String | GC 的原因 |
pid | String | 進程pid |
node | String | 使用者命名的節點名,單機下記為空 |
duration | long ms | GC 持續時間 |
youngBeforeUsed | long KB | 年輕代 GC 前使用記憶體 |
youngBeforeCommitted | long KB | 年輕代 GC 前申請記憶體 |
youngAfterUsed | long KB | 年輕代 GC 後使用記憶體 |
youngAfterCommitted | long KB | 年輕代 GC 後申請記憶體 |
oldBeforeUsed | long KB | 老年代 GC 前使用記憶體 |
oldBeforeCommitted | long KB | 老年代 GC 前申請記憶體 |
oldAfterUsed | long KB | 老年代 GC 後使用記憶體 |
oldAfterCommitted | long KB | 老年代 GC 後申請記憶體 |
metaspaceBeforeUsed | long KB | metaspace GC 前使用記憶體 |
metaspaceBeforeCommitted | long KB | metaspace GC 前申請記憶體 |
metaspaceAfterUsed | long KB | metaspace GC 後使用記憶體 |
metaspaceAfterCommitted | long KB | metaspace GC 後申請記憶體 |
heapBeforeUsed | long KB | GC 前堆使用記憶體 |
heapBeforeCommitted | long KB | GC 前堆申請記憶體 |
heapAfterUsed | long KB | GC 後堆使用記憶體 |
heapAfterCommitted | long KB | GC 後堆申請記憶體 |
balancePromoterScore | int 分「分值的分」 | 中止計算分值 |
releasePromoterScore | 同上 | 釋放對話分值 |
loadScore | 同上 | 整體負載分值 |
4.9 processLog
記錄雲端健檢分析任務運作相關的日誌。
欄位 | 含義 |
---|---|
time | 時間 |
node | 節點 |
process | 流程 |
4.10 recordOperate
管理日誌表,即使用者對模組進行操作的時候,將會在該表中新增一條記錄,並在相應欄位中填寫其對應的資訊記錄。
欄位 | 備註 |
---|---|
type | 模組(存國際化的 key) |
item | 設定項 |
operation | 操作 |
username | 帳號 |
ip | 使用者 IP 地址 |
time | 使用者操作時間 |
4.11 recordWrite
填報表:記錄填報日誌資訊,即如果報表進行填報的時候,將會在該表中新增一條記錄,並在相應欄位中填寫其對應的資訊記錄。
欄位 | 備註 |
---|---|
username | 填報報表的使用者 |
tname | 儀表板存放路徑 |
time | 填報時間 |
result | 是否填報成功 |
ip | 填報報表的IP地址 |
displayName | 儀表板的實際名稱,非「目錄管理」中儀表板的名稱 如果直接存取連結則為空 |
browser | 用戶端存取報表所用的瀏覽器版本 |
consume | 執行耗時,包括 SQL 執行時間,報表計算時間 |
body | 用json資料結構記錄以下資訊(times, max,min,avg) times:該類請求出現次數,單位:次 max:該類請求最大回应時長,單位:ms min:該類請求最小回应時長,單位:ms avg:該類請求平均回应時長,單位:ms |
frFullVersion | FineReport工程模組版本 |
biFullVersion | FineBI工程模組版本 |
cloudVersion | 雲端健檢分析插件版本 |
5. 資料表-FDL
5.1 fdlExecutorTask
記錄FDL任務/節點/算子運作情況
欄位 | 含義 |
---|---|
id | 主鍵 |
targetId | 任務/節點/算子ID |
category | 一級分類(區分任務 OR 節點 OR 算子) 0:任務 1:節點 2:算子 |
type | 二級分類 1)任務 SCHED:定時任務 2)節點 3)算子 |
beginTime | 執行開始時間 (時間戳格式) |
endTime | 執行結束時間 (時間戳格式) |
status | 執行狀態 任務和算子只有SUCCESS和FAILED狀態 節點狀態有SUCCESS、FAILED、EXECUTOR_LINE_NOT_MATCH |
lasting | 執行耗時 |
extraInfo | 執行補充資訊(JSON) execUser:執行使用者(僅任務包含,排程管理觸發或作為子任務被呼叫時值固定為SYSTEM、手動運作時值為對應使用者) |
time | 資料入庫時間,logdb自動生成(Swift表清理需要) |
6. 刪除工程下資料包
若曾自動/手動上傳雲端健檢分析資料到帆軟市場,那麼在工程%FR_HOME%\webapps\webroot\WEB-INF\treasures目錄下會對應生成上傳的雲端健檢分析資料包。
使用者可透過API快速刪除工程目錄下的雲端健檢分析資料包。
管理者登入數據決策系統後,在瀏覽器新頁面存取http://IP:port/webroot/decision/v10/cloud/analytics/delete/treasure?month=X,顯示success即為刪除成功。
每10分鐘內可請求一次,X為刪除的最近月份數量。
例如:
系統下存在2022年2-7月的資料,7月份存取http://IP:port/webroot/decision/v10/cloud/analytics/delete/treasure?month=3
系統將自動刪除執行日期起,最近三個月的雲端健檢分析資料包,僅保留2022年2-4月的資料
7. 注意事項
若匯出資料包時該日資料包已存在,則先將該日資料包刪除後再匯出,即進行改寫操作。
(例如 2019-03-02 日凌晨四點會匯出 2019-03-01 日資料包。而在 2019-03-01 日使用者進行過手動下載,已生成當日資料包,2019-03-02 日凌晨四點匯出的資料包則會將之前生成的資料包改寫)。