雲端健檢分析資料包表結構說明

1. 概述

1.1 版本

報表伺服器版本功能變更
11.0-
11.0.3支援透過API刪除本地 treasures 資料包

1.2 功能簡介

treasures 資料包的具體 CSV 表結構,下面將詳細說明。

2. 資料包獲取

管理者登入數據決策系統,點選「管理系統>智慧維運>雲端健檢分析」,點選「下載日誌」即可下載雲端健檢分析資料包。如下圖所示:

3. 資料包整體結構

3.1 月資料包

1)下載後的檔案解壓後,有多個月資料包+資料包資訊檔案( json 格式)。如下圖所示:

package.json 檔案中資訊為應用名稱、應用 ID 、所有資料包所屬月份以及該資料包所含月資料包的個數。

2)單個月資料包解壓後,有多個日資料包+該月資料包資訊檔案( json 格式)。如下圖所示:

package.json 檔案中資訊為應用名稱、應用 ID 、該月資料包所屬月份以及該月資料包所含日資料包的個數。

3.2 日資料包

日資料包解壓後有多張 CSV 表。如下圖所示:

4. 資料表-通用&FR

4.1 package

應用的基本資訊,每個資料包裏都包含這個,用於鑑別資料包的來源。

欄位含義
appname應用名稱
appid應用ID
time資料包時間,例如20230905(自動匯出情況下:每日凌晨四點匯出前一天的包,記為匯出日期的前一日)
version雲端健檢分析版本
DAU當日登入該工程的使用者數
gcRecord當日該工程GC次數
BIUpdateTask當日該工程BI更新任務數
BIExecute當日使用者存取該工程FineBI儀表板次數
recordOperate當日使用者對該工程進行管理操作次數
execute當日使用者存取該工程FineReport範本次數
focusPoint當日該工程功能點使用次數
honeypot埋點記錄次數
realTime當日該應用實時情況記錄次數
engineQueryPerformance引擎埋點記錄次數
biDailyOperation當日使用者對該工程FineBI儀表板、組件、資料集編輯查看次數
BIUpdateTaskDetail當日該工程BI更新任務明細記錄數
fdlExecutorTaskFDL任務/節點/算子運作情況記錄次數
logpoint埋點報錯資訊記錄次數
biUserLifecycleFineBI使用者流失記錄條數
consumePoint當日該工程範本效能記錄次數
recordWrite當日該工程FineReport報表填報次數
templateError當日該工程報錯日誌記錄條數
processLog當日該工程雲端健檢分析任務運作次數
executeSqlSQL 執行記錄明細條數

4.2 execute

範本使用情況,記錄範本的執行明細。

欄位備註
id主鍵
tname物理範本名稱(reportlet 下的完整路徑)
displayName掛載到平台的目錄名稱(全路徑),如果直接存取連結則為空
time記錄的時間,到秒即可
memory報表佔用記憶體,單位 B
type報表存取方式
consume後台耗時
sqlTimeSQL 執行耗時間
reportId範本 ID
userId使用者 ID
ip使用者所在ip(加密匯出)
complete是否計算完成
source連結存取/平台存取
brower
瀏覽器
sessionID對話ID,用於與效能埋點表中的前端渲染耗時相關埋點進行聯動
node載入範本的節點名
error範本執行程式中第一個報錯資訊
webInfo

範本執行資訊


webResolution:當前範本執行在前端存取時的解析度,記錄格式為x*y

fullScreen:當前範本執行在前端存取時是否是全螢幕模式,記錄格式為1/0

fineMarkId一個使用者的標識id(用於判斷非登入場景下的使用者數)
estimate估算記憶體(非格子計算),單位KB
frFullVersionFineReport工程模組版本
biFullVersionFineBI工程模組版本
cloudVersion雲端健檢分析插件版本

4.3 executesql

記錄 SQL 的執行記錄明細。

欄位備註
time執行時間,時間戳格式
executeid執行表 ID
dsname資料集的名稱
sqltimeSQL 執行時間,單位毫秒
rows資料集規模,行
columns資料集規模,列
connection資料連結名
connectionID資料連結標識 ID,用於與功能埋點表中的資料源連結相關埋點進行聯動

4.4 realTime

應用的實時情況,每分鐘記錄一條。

欄位備註
time記錄時間,每分鐘一條
node節點名
cpuCPU 利用率
memory當前 jvm 記憶體情況
sessionnum存活對話數
onlinenum系統線上人數
pid進程 pid
templateRequest正在計算的範本請求數
httpRequest總的正在處理的 http 請求數
sessionRequest正在處理的帶 SessionID 的請求數
fineIOfineIO佔用堆外記憶體大小,單位 KB
NIONIO佔用堆外記憶體大小,單位 KB
bufferMemUse堆外使用總記憶體,directMem「nio」和mappedMem,單位 KB
physicalMemUse物理記憶體已使用空間,單位 KB
physicalMemFree物理記憶體閒置空間,單位 KB

4.5 consumepoint

範本的效能情況,每日記錄一次。

欄位含義備註
id埋點 id 編號
source埋點來源

Original 類

1 表示當前系統的

0 表示插件的埋點

-1 表示沒有定義來源

time開始時間開始時間(時間戳格式)
username帳號ID進行了轉碼處理
ip使用者ip進行了轉碼處理
finish結束時間FineReport 欄位,FineBI不適用
consume耗時,單位 ms-
memory
記憶體大小,單位 byteFineReport 欄位,FineBI不適用
title
資源 id可以是範本id,分析表id,表id等
text
資源內容FineReport 欄位,FineBI不適用
type
操作類型FineReport 欄位,FineBI不適用
comment資源備註FineReport 欄位,FineBI不適用
body埋點具體資訊-
frFullVersionFineReport工程模組版本-
biFullVersionFineBI工程模組版本-
cloudVersion雲端健檢分析插件版本-

4.6 focusPoint

記錄功能點的使用情況,以及各種埋點資訊。

欄位說明備註
id功能點 id例如:FR-F4001
source埋點來源

功能點的類型

embed 表示當前系統的

plugin 表示插件的埋點

undefined表示沒有定義來源

time時間使用該功能的時間點
username帳號帳號ID,進行了轉碼處理
ip使用者IP使用者IP,進行了轉碼處理
title標題主要內容
text
內容功能點的主要資訊
body埋點具體資訊

埋點具體資訊,一個 json 資料結構,根據不同的埋點裏面存放不同的資訊(次要資訊,可能為空)

frFullVersionFineReport工程模組版本-
biFullVersionFineBI工程模組版本-
cloudVersion雲端健檢分析插件版本-

4.7 templateError

錯誤日誌記錄表:記錄系統中發生過的報錯日誌。

欄位含義
tname出錯的物理範本名稱(reportlet下的完整路徑)
time出錯記錄時間
displayName

掛載到平台的目錄名稱(全路徑)

如果為空時,判斷 platformDisplay是否為0,為零時平台前端顯示處理為國際化的“非掛載存取”

result

是否成功預覽

1:預覽成功

0:預覽失敗

code錯誤程式碼
platformDisplay

是否掛載存取

1:表示掛載存取

0:表示url存取

username

執行報表的使用者

notLogged:表示未登入存取

fromSchedule:表示來自排程管理

4.8 gcRecord

記錄系統的 GC 資訊。

欄位資料類型 & 單位備註
timelong timestamp記錄時間
gcStartTimelong timestampGC 開始時間
gcTypeStringGC 類型
gcCauseStringGC 的原因
pidString進程pid
nodeString使用者命名的節點名,單機下記為空
durationlong msGC 持續時間
youngBeforeUsedlong KB年輕代 GC 前使用記憶體
youngBeforeCommittedlong KB年輕代 GC 前申請記憶體
youngAfterUsedlong KB年輕代 GC 後使用記憶體
youngAfterCommittedlong KB年輕代 GC 後申請記憶體
oldBeforeUsedlong KB老年代 GC 前使用記憶體
oldBeforeCommittedlong KB老年代 GC 前申請記憶體
oldAfterUsedlong KB老年代 GC 後使用記憶體
oldAfterCommittedlong KB老年代 GC 後申請記憶體
metaspaceBeforeUsedlong KBmetaspace GC 前使用記憶體
metaspaceBeforeCommittedlong KBmetaspace GC 前申請記憶體
metaspaceAfterUsedlong KBmetaspace GC 後使用記憶體
metaspaceAfterCommittedlong KBmetaspace GC 後申請記憶體
heapBeforeUsedlong KBGC 前堆使用記憶體
heapBeforeCommittedlong KBGC 前堆申請記憶體
heapAfterUsedlong KBGC 後堆使用記憶體
heapAfterCommittedlong KBGC 後堆申請記憶體
balancePromoterScoreint 分「分值的分」中止計算分值
releasePromoterScore同上釋放對話分值
loadScore同上整體負載分值

4.9 processLog

記錄雲端健檢分析任務運作相關的日誌。

欄位含義
time時間
node節點
process流程

4.10 recordOperate

管理日誌表,即使用者對模組進行操作的時候,將會在該表中新增一條記錄,並在相應欄位中填寫其對應的資訊記錄。

  欄位

備註

type模組(存國際化的 key)
item設定項
operation操作
username  帳號
ip使用者 IP 地址
time使用者操作時間

4.11 recordWrite

填報表:記錄填報日誌資訊,即如果報表進行填報的時候,將會在該表中新增一條記錄,並在相應欄位中填寫其對應的資訊記錄。

欄位  

備註

username填報報表的使用者
tname  儀表板存放路徑
time填報時間
result是否填報成功
ip填報報表的IP地址
displayName

儀表板的實際名稱,非「目錄管理」中儀表板的名稱

如果直接存取連結則為空

browser用戶端存取報表所用的瀏覽器版本
consume執行耗時,包括 SQL 執行時間,報表計算時間
body用json資料結構記錄以下資訊(times, max,min,avg)

times:該類請求出現次數,單位:次

max:該類請求最大回应時長,單位:ms

min:該類請求最小回应時長,單位:ms

avg:該類請求平均回应時長,單位:ms

frFullVersionFineReport工程模組版本
biFullVersionFineBI工程模組版本
cloudVersion雲端健檢分析插件版本

5. 資料表-FDL

5.1 fdlExecutorTask

記錄FDL任務/節點/算子運作情況

欄位
含義
id主鍵
targetId任務/節點/算子ID
category

一級分類(區分任務 OR 節點 OR 算子)

0:任務

1:節點

2:算子

type

二級分類

1)任務

SCHED:定時任務

2)節點
DATA_SYNC:資料同步
DATA_FLOW:資料轉換
SQL:SQL腳本
PARAM:參數指派
CONDITION:條件分支
VIRTUAL:虛擬節點
SUB_WORK:呼叫任務
MESSAGE:訊息通知
LOOP:循環容器
SHELL_NODE:Shell腳本

3)算子
PARAM_OUTPUT:參數匯出
資料源_READER:資料源_輸入
資料源_WRITER:資料源_匯出

beginTime執行開始時間 (時間戳格式)
endTime執行結束時間 (時間戳格式)
status

執行狀態

任務和算子只有SUCCESS和FAILED狀態

節點狀態有SUCCESS、FAILED、EXECUTOR_LINE_NOT_MATCH

lasting執行耗時
extraInfo

執行補充資訊(JSON)

execUser:執行使用者(僅任務包含,排程管理觸發或作為子任務被呼叫時值固定為SYSTEM、手動運作時值為對應使用者)
errDetail:錯誤詳情(僅失敗任務包含,記錄任務運作報錯詳情,與任務維運中運作結果為“報錯”的任務的“報錯資訊”保持一致即可)
execThroughput:執行吞吐量
readRows:讀取資料行數
writeRows:寫入資料行數
updateRows:更新資料行數
deleteRows:刪除資料行數
errorRows:錯誤資料行數

time資料入庫時間,logdb自動生成(Swift表清理需要)

6. 刪除工程下資料包

若曾自動/手動上傳雲端健檢分析資料到帆軟市場,那麼在工程%FR_HOME%\webapps\webroot\WEB-INF\treasures目錄下會對應生成上傳的雲端健檢分析資料包。

使用者可透過API快速刪除工程目錄下的雲端健檢分析資料包。

管理者登入數據決策系統後,在瀏覽器新頁面存取http://IP:port/webroot/decision/v10/cloud/analytics/delete/treasure?month=X,顯示success即為刪除成功。

每10分鐘內可請求一次,X為刪除的最近月份數量。

例如:

系統下存在2022年2-7月的資料,7月份存取http://IP:port/webroot/decision/v10/cloud/analytics/delete/treasure?month=3

系統將自動刪除執行日期起,最近三個月的雲端健檢分析資料包,僅保留2022年2-4月的資料

7. 注意事項

若匯出資料包時該日資料包已存在,則先將該日資料包刪除後再匯出,即進行改寫操作。

(例如 2019-03-02 日凌晨四點會匯出 2019-03-01 日資料包。而在 2019-03-01 日使用者進行過手動下載,已生成當日資料包,2019-03-02 日凌晨四點匯出的資料包則會將之前生成的資料包改寫)。


附件列表


主題: 數據決策系統
  • 有幫助
  • 沒幫助
  • 只是瀏覽
中文(繁體)

滑鼠選中內容,快速回饋問題

滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

不再提示

10s後關閉

獲取幫助
線上支援
獲取專業技術支援,快速幫助您解決問題
工作日9:00-12:00,13:30-17:30在线
頁面反饋
針對當前網頁的建議、問題反饋
售前咨詢
業務咨詢
電話:0933-790886或 0989-092892
郵箱:taiwan@fanruan.com
頁面反饋
*問題分類
不能為空
問題描述
0/1000
不能為空

反馈已提交

网络繁忙

反饋已提交

網絡繁忙