當前為5.1版本文檔,更多實例內容將在最新幫助文檔中展現,點選跳轉至 最新版幫助文檔

自助資料集資料量限制

1. 概述

1.1 版本

FineBI 版本
JAR 包
5.12020-01-15

1.2 資料量限制原因

在使用 FineBI 時,可能出現因為使用者不合理的操作影響其他使用者使用或者系統效能穩定,此時就需要規避該問題。

在製作自助資料集時,FineBI 提供了資料量限制,來規避此類風險,保證 FineBI 的正常使用。

2. 資料量限制說明

抽取狀態下兩種自助資料集的資料量限制:

自助資料集性質資料量限制(抽數)
分析性質自助資料集
  • 最大記憶體不能超過 500M

  • 自助資料集的儲存格不超過 5kw,但「5kw」這個值可以更改,詳情請參見 3.2.2 節

  • 自助資料集的資料行不能超過 1kw

  • 左右合併時合併的兩表以及合併後的表都不能超過 1kw 行

  • 分組彙總步驟的結果集不能超過 1kw 儲存格

處理性質的自助資料集沒有資料量限制

實時資料時兩種自助資料集的資料量限制:

自助資料集性質資料量限制(實時)
分析性質自助資料集
  • 最大記憶體不能超過 500M

  • 左右合併時合併的兩表以及合併後的表都不能超過 1kw 行

  • 分組彙總步驟的結果集不能超過 1kw 儲存格

處理性質的自助資料集

注:當使用者使用的自助資料集超過資料量限制時,則會在前端頁面給出提示,此時可以透過減少表的欄位、過濾、分組彙總等方式減少資料量。若使用者使用的抽數資料且為處理使用者的話,可以直接換用沒有資料量限制的「處理性質自助資料集」。

3. 資料量限制報錯及解決方案

3.1 自助資料集生成的行限制

3.1.1 問題現象

報錯內容

錯誤代碼:61300422

自助資料集生成行限制預設 1 千萬,若超出了行限制,則更新失敗,預覽失敗

注:只作用於抽取資料,實時資料不受限制。

例如設定生成行限制為 100 萬,則預覽報錯如下圖所示:

後臺報錯如下圖所示:

3.1.2 解決方案

減少自助資料集需要更新的資料,如減少欄位、繼續對資料進行過濾,或者對資料進行分組彙總。

3.2 自助資料集生成的儲存格限制

3.2.1 問題現象

報錯內容
錯誤代碼:61300421

自助資料集生成的儲存格超出設定的大小,預設 5 千萬,也就是可供配置的參數,若超出儲存格則更新失敗,預覽失敗

注:只作用於抽取資料,實時資料不受限制。

設定儲存格限制為 100 萬,則生成資料的時候報錯,預覽報錯如下圖所示:

後臺報錯如下圖所示:

3.2.2 解決方案

  • 減少需要更新的資料,如減少欄位、繼續對資料進行過濾,或者對資料進行分組彙總。

  • 點選管理系統>系統管理>標準>Spider參數,修改分析使用者自助資料集磁碟佔用大小(儲存格)參數,如下圖所示:

注:慎重使用第二種方法。

3.3 自助資料集的記憶體限制

報錯內容作用範圍

錯誤代碼:61300424

您的自助資料集計算複雜佔用過多記憶體,觸發系統保護機制

 實時資料 、抽取資料

注:需要透過查看日誌來判斷記憶體佔用大小。

3.3.1 在自助資料集進行計算前已檢查到超出限制

比如設定了記憶體為 900000,行數有 120 萬行,如果行超過記憶體限制,則預測會超限制,在計算之前就已經能夠檢查到超出了限制,不會實際消耗的記憶體。

預覽介面報錯如下圖所示:

後臺報錯如下圖所示:

3.3.2 自助資料集在計算過程中顯示超出限制

在計算過程中顯示超出了限制,那麼後臺日誌會給出實際消耗的記憶體,預覽介面報錯如下圖所示:

後臺報錯如下圖所示:

注:對於抽取資料使用部分資料的時候,需要透過查看日誌來判斷記憶體佔用大小,判斷方法同上,假設記憶體設定的很小,那麼有可能出現使用部分資料超出了限制,使用全部資料沒有超限制的情況。

3.3.3 解决方案

  • 減少自助資料集步驟

  • 減少欄位、不使用全部資料

  • 繼續對資料進行過濾等。

3.4 左右合併 1 千萬行限制

3.4.1 問題現象

報錯內容

錯誤代碼:61300423

這個參數只針對左右合併步驟,左右合併的結果超出 1 千萬行會出現報錯

注:實時資料和抽取資料都受限制。

例如:實際左右合併結果超出時的預覽介面如下圖所示:


後臺報錯如下圖所示:

3.4.2 解決方案

減少所用表的資料量,如過濾之後在嘗試合併。

3.5 分組彙總 1 千萬儲存格限制

3.5.1 問題現象

報錯內容

錯誤代碼:61300417

這個參數只針對分組彙總步驟,分組彙總結果超過 1 千萬儲存格則報錯

注:實時資料和抽取資料都受限制。

實際分組彙總合併結果超出 1000 萬儲存格時的預覽介面如下圖所示:

後臺報錯如下圖所示:

3.5.2 解決方案

減少該結果的資料量,如減少欄位,過濾之後在嘗試彙總。

4. 使用超限制的自助資料集做分析

4.1 適用範圍

實時資料

4.2 使用超限制的自助資料集製作自助資料集

4.2.1 問題現象

1)使用超限制的自助資料集做自助資料集,選欄位之後,預覽區域顯示為「來源表超限制的提示」。

2)在 左右合併 彈窗中選擇了超限制的表,預覽區域顯示為來源表超限制。

3)在 上下合併 時選擇了超限制的表,那麼預覽區域顯示的是詳細的合併表超限制的資訊。

4.2.2 解決方案

按照本文第 3 節內容調整自助資料集資料量。

4.3 使用超限制的自助資料集製作儀表板

4.3.1 問題現象

在儀表板處使用超限制的自助資料集,組件選擇時可以選到,但是右側預覽區域顯示為「來源表超限制的提示」。

4.3.2 解決方案

按照本文第 3 節內容調整自助資料集資料量。

附件列表


主題: 数据加工
已經是第一篇
已經是最後一篇
  • 有幫助
  • 沒幫助
  • 只是瀏覽
  • 评价文档,奖励 1 ~ 100 随机 F 豆!