1. 概述
1.1 版本
FineBI 版本 | 功能 |
---|---|
6.0 | - |
6.0.11 | 動態限制資源匯入檔案大小,防止記憶體上限溢位 |
6.0.12 | 1)匯出「目錄」型別的資源時,可同時匯出以下依賴資源:
2)新增「同時匯出Finereport連結跳轉範本」選項,支援將目錄跳轉的Finereport子範本一起匯出 |
1.2 應用場景
使用 FineBI 系統時,一般先在測試環境系統上進行開發部署,確認無誤後再遷移到正式系統中。
FineBI支援將目錄、資料集、資料連結、儀表板等資源從測試系統增量遷移到正式系統。
1.3 功能簡介
FineBI 以插件形式提供資源遷移功能,支將目錄、資料集、資料連結、儀表板等資源從測試系統到正式系統的增量遷移。
插件安裝成功後,管理者登入FineBI系統,點選「管理系統>智慧維運>資源遷移」,分為「資源匯出」、「資源匯入」兩部分,如下圖所示:
資源匯出:將需要遷移到其他系統的資源從伺服器中匯出,以供後續遷移。
資源匯入:將需要遷移的資源在新系統中匯入,即遷移至新系統。
1.4 注意事項
1)正式工程需購買「智慧維運」功能點才可使用「資源遷移」功能。
2)請確定在資源遷移過程中,沒有其他人使用超級管理者帳號,否則部分執行請求可能被取消。
3)不建議在個人 PC 端工程開發範本後,再以資源遷移的形式同步到公司工程。
因為個人 PC 端沒有管理者維護,經常會因為 JAR 包不同步或資源以及配置不同步的問題導致資源遷移失敗,維運成本會很高。
4)單次資源匯入內容不可超出2GB,否則在匯入資源時會報錯:out of memoryerror。請少量多次分配匯出和匯入資源。
2. 準備工作
2.1 獲取插件
FineBI6.0版本,資源遷移功能需要依賴「資源遷移」插件。
插件獲取請聯絡技術支援。技術支援聯絡方式:帆軟官方服務渠道使用説明
插件安裝方法參照: 插件管理。
2.2 確認版本
資源遷移之前,請確定資源匯入和匯出的 FineBI 工程使用的版本一致(包括 JAR 包時間)。
管理者可在「管理系統>註冊管理>版本資訊」下查看 JAR 包時間,如下圖所示:
若版本不一致,可透過升級來確定版本一致。
注:在資源匯入時,若上傳資源對應的工程和當前工程版本不一致,則無法上傳。
提示:無法匯入,即將匯入的資源需要的工程版本:XXX。當前工程版本:XXX。請確保工程版本一致!
2.3 備份還原
資源匯入前建議對測試系統和正式系統均進行備份還原,如下圖所示:
注:備份遷移到的 MySQL 資料庫需要選擇 utf8_bin 的排序規則。
2.4 確認數據庫大小寫
若系統配置了外接資料庫 ,在資源遷移前,請確定正式系統和測試系統的「資料庫預設字元校驗規則」都為「大小寫敏感」。
以 Mysql 為例:
2.4.1 進行設定
設定方式:若配置了外接資料庫,連結 FineDB 資料庫,開啟 FINE_CONF_ENTITY 表,設定字元校驗規則為 utf8_bin,輸入命令如下:
2.4.2 查看設定結果
如下圖所示:
2.5 確認插件和驅動
1)若資料連結需依賴第三方插件,目前只支援遷移 JSON 資料集和 Mysql8 資料連結,其他插件型別不適配,會匯入失敗。
2)權限匯出插件生成的伺服器資料集,不支援遷移,會匯入失敗。
3)資料連結遷移只遷移配置。驅動jar包、kerberos認證檔案、JNDI 配置檔案等都不會遷移,需要手動配置/放置。
請在進行資料連結遷移前,確認正式工程下是否提前安裝依賴的相關資料連結插件,否則將導致匯入失敗。
請在進行資料連結遷移前,確認正式工程下是否提前安裝依賴的相關資料連結驅動,否則將導致匯入的資料連結不可使用。
2.6 確認資料連結
若需要進行資料連結遷移,需要在資源遷移匯入前,保證正式系統已建立好了資料連結,且該資料連結名需與測試系統一致,否則資源無法遷移成功。
若遷移的是伺服器資料集建立的儀表板,則在遷移前需要保證正式系統上建立好相同名稱的伺服器資料集。
伺服器資料集若依賴相關資料連結,請確認將相關資料連結匯入正式工程,否則匯入的伺服器資料集無法使用。
2.7 確認用戶
1)用戶
在資源匯入時,系統中必須有資源包的資源所有者。
比如測試系統中資料表的建立者是Anna,那麼在正式系統中也必須有一個使用者叫Anna。否則匯入時需要修改資源的所有者。
2)使用者型別
在資源遷移過程中,需要BI資料表的建立者的使用者型別保持一致。
比如測試系統中資料表建立者為「分析使用者」,那麼在正式系統中也需要將其新增到「分析使用者」中。
2.8 遷移自訂地圖
若範本中呼叫了自訂地圖,需要將地圖 json 檔案copy到正式工程下。
在%FineBI%/webroot/WEB-INF/assets/map/image路徑下,將需要遷移的 json 檔案copy到正式工程對應路徑下,如下圖所示:
3. 測試系統下資源匯出
3.1 選擇資源
管理者登入FineBI系統後,進入「管理系統>智慧維運>資源遷移」,選擇「資源匯出」。
選擇需要匯出的資源型別,選擇每種型別下需要匯出的具體內容,支援多選。如下圖所示:
可匯出的資源如下:
資源型別 | 説明 |
---|---|
目錄 | 按層級結構展示,可選取最小粒度為儀表板
注:並非系統下的所有儀表板/資料都會被匯出。如不發佈儀表板,則不存在於匯出的資源中。請務必先發佈儀表板再進行操作。 |
我的分析 | 按層級結構展示,可選取最小粒度為資料集、組件、儀表板
注:匯出時,會根據使用者匯出其路徑,匯入時會匯入對應使用者的「我的分析」中。若不存在相關使用者,匯入時需要修改資源的所有者。 |
公共資料 | 按層級結構展示,可選取最小粒度為資料集
注1:匯出時,會將所有聯動關係都匯出,但是匯入時,若聯動的表不存在,則自動清除相關聯動。 注2:若匯出時,表處於申請發佈狀態,匯入時需要重新申請。 |
資料連結 | 可選取FineBI系統中的資料連結 匯出資料連結時的資源包括:資料連結的所有配置(基礎配置、進階配置) 注:資料連結的密碼加密匯出,keytab 鍵路徑不支援匯出、遷移後需要手動輸入。 |
伺服器資料集 | 可選取FineBI系統中的伺服器資料集 支援匯出:SQL資料集、檔案資料集、樹資料集、JSON資料集、內建資料集、過程資料集、聯動資料集、儲存過程
若檔案資料集的資料集來源為URL,則只匯出配置,檔案不匯出 若檔案資料集的資料集來源為檔案,檔案路徑包含參數,則檔案不匯出
若匯出樹資料集時,未匯出依賴的原資料集,則匯入時可正常匯入但無法使用
若匯出聯動資料集時,未匯出依賴的原資料集,則匯入時可正常匯入但無法使用
權限匯出插件生成的伺服器資料集,不支援遷移,會匯入失敗
若伺服器資料集需依賴第三方插件,目前只支援 JSON 資料集和 Mysql8 資料連結,其他插件型別不適配,會匯入失敗 |
3.2 選擇匯出全部依賴資源
比如A資料集基於B資料集建立,將A資料集從測試系統遷移到正式系統中,如需正常使用A資料集,需要將依賴的B資料集也匯入。
因此選擇的資源型別為「目錄、我的分析、公共資料」時,可選擇是否「匯出全部依賴資源」。如下圖所示:
該按鈕會匯出這三種資源型別裏的「資料集、組件、儀表板」依賴的資源。
該按鈕僅對當前資源型別生效,需要逐個設定。
可匯出的依賴資源如下:
資源 | 可匯出的依賴資源 |
---|---|
資料集 | 規則: 可匯出資料集中直接使用的表 可匯出資料集在聯動/血緣路徑上經過的相關表。 舉例: 基於A資料集建立了B資料集,基於B資料集建立了C資料集 匯出C資料集時,依賴的資源為A資料集和B資料集 注意: 如果依賴的資源在「我的分析」中,根據使用者匯出其路徑,後續匯入時匯入對應使用者的「我的分析」中 |
組件 | 規則: 可匯出組件中直接使用的資料集 可匯出組件中使用的表在聯動/血緣路徑上經過的相關資料集 舉例: 基於A資料集建立了B資料集,基於B資料集建立了C資料集,基於C資料集建立了X組件 匯出X組件時,依賴的資源為A資料集、B資料集和C資料集 注意: 如果依賴的資源在「我的分析」中,根據使用者匯出其路徑,後續匯入時匯入對應使用者的「我的分析」中 |
儀表板 | 規則: 可匯出儀表板中所使用的組件 可匯出儀表板中直接使用的資料集 可匯出儀表板中使用的表在聯動路徑上經過的相關資料集 對於組件間的聯動、元件對組件的過濾,只匯出最短路徑中的相關資料集 資源型別為「目錄」時,可匯出目錄儀表板中組件跳轉的儀表板 注:6.0.12 及之後版本,資源型別為「目錄」時:
舉例1: 基於A資料集建立了B資料集,基於B資料集建立了C資料集,基於C資料集建立了D組件 基於X資料集建立了Y資料集,基於Y資料集建立了Z資料集,基於Z資料集建立了W過濾組件 基於D組件和W過濾組件建立了儀表板 匯出儀表板時,依賴的資源為D組件、A、B、C資料集、X、Y、Z資料集 舉例2: 基於公共資料中的A資料集建立了B資料集,基於B資料集建立了C組件 基於公共資料中的D資料集建立了E資料集,基於E資料集建立了F組件 在主題W內,基於C組件建立了儀表板X,基於F組件建立了儀表板Y 掛載儀表板X至目錄Z,匯出目錄Z時,依賴的資源為Y儀表板、C、F組件、A、B、D、E資料集 注意: 如果依賴的資源在「我的分析」中,根據使用者匯出其路徑,後續匯入時匯入對應使用者的「我的分析」中 |
3.3 選擇同時匯出的資源
比如A資料集設定了定時更新,將A資料集從測試系統遷移到正式系統中,使用者可能需要將設定的定時更新也匯入。
因此在匯出時,支援選擇同時匯出「同時匯出Finereport連結跳轉範本」、「原始Excel附件」、「公共連結的設定項」、「定時更新任務」、「同時匯出權限配置」。如下圖所示:
同時匯出配置,對匯出的全部資源型別生效。
可同時匯出的資源如下:
同時匯出的資源 | 説明 |
---|---|
同時匯出Finereport連結跳轉範本 | 預設勾選該選項,且只對「目錄」型別的遷移資源生效
僅匯出掛載在目錄中的儀表板,儀表板中跳轉的Finereport子範本不會同時匯出
匯出掛載在目錄中的儀表板時,儀表板中跳轉的Finereport子範本會同時匯出,子範本中若存在下級子範本,也同時匯出,以此類推 |
原始Excel附件 | 若匯出的資源、或匯出依賴的資源,存在「Excel資料集」。 勾選「原始Excel附件」,則會將原始Excel附件一起匯出,這樣在後續的匯入中不需要再重新上傳Excel檔案。 注:若匯出的資料表與正式系統相同位置的表名稱一樣,將改寫掉正式系統中的資料表,因此此處需確認好再進行匯出匯入操作。 |
公共連結的設定項 | 若匯出的資源存在「儀表板」,可勾選「公共連結的設定項」,將儀表板的公共連結設定一起匯出。
無論是改寫匯入還是新增匯入,按照匯入的儀表板的公共連結設定為準
改寫匯入時,原來儀表板設定的公共連結不被改寫 新增匯入時,匯入的儀表板預設不開啟公共連結 |
定時更新任務 | 若匯出的資源、或匯出依賴的資料集,存在「定時更新任務」。 勾選「定時更新任務」,則會將資料集的定時更新任務一起匯出。定時更新任務匯出該資源項自身的更新任務,不匯出上代節點上的更新任務。
無論是改寫匯入還是新增匯入,按照匯入的資料集的定時更新任務為準。
改寫匯入時,原來資料集設定的更新任務不被改寫 新增匯入時,匯入的資料集不帶有更新任務 |
同時匯出權限配置 | 規則: 勾選「同時匯出權限設定」,可匯出資源的權限設定。 權限設定包括:使用權限(查看、編輯、授權等)、列欄權限。 僅匯出該資源項自身設定的權限,不匯出由上代節點繼承而來的權限。 資料夾、主題、儀表板、資料集等資源匯出權限時,均不匯出繼承而來的權限。 舉例: 資料夾X中有一個資料集A,資料夾和資料集上面都配置了使用權限。
|
3.4 匯出的檔案
匯出後會生成 resources.zip 檔案,如下圖所示:
4. 正式系統下資源匯入
4.1 上傳檔案
管理者登入 FineBI 系統,選擇「管理系統>智慧維運>資源遷移>資源匯入」,點選「上傳檔案」,如下圖所示:
注1:資源匯入前建議進行 系統備份,其中備份遷移到的 MySQL 資料庫需要選擇 utf8_bin 的排序規則。
注2:單次只允許上傳單個壓縮檔案。
注3:單次資源匯入內容不可超出2GB,否則在匯入資源時會報錯:out of memoryerror。請少量多次分配匯出和匯入資源。
上傳檔案時,系統會自動獲取當前可用的閒置記憶體大小,當上傳檔案大小 <(當前可用的閒置記憶體大小-256MB)時,允許上傳檔案,當上傳的檔案大小 >(當前可用的閒置記憶體大小-256MB)時,觸發限制,報錯「當前剩餘記憶體 xxxMB,檔案大小 xxxMB,為防止記憶體上限溢位,不允許上傳」,如下圖所示:
上傳檔案成功後,系統會獲取匯入檔案所包含的資源,包含資源類型、資源名稱、資源所有者、路徑、匯入方式和資源資訊對比。
設定 | 説明 |
---|---|
資源類型 | 類型包括:目錄、伺服器資料集、資料連結、儀表板、組件、資料集 |
資源名稱 | 資源名稱為各種資源的名稱 |
資源所有者 | 資源型別為「目錄、伺服器資料集、資料連結」時,資源所有者為空 資源型別為「儀表板、組件、資料集」時,資源所有者即資源的建立者 資源的建立者 |
路徑 | 資源型別為「目錄、伺服器資料集、資料連結」時,路徑為空 資源型別為「儀表板、組件、資料集」時,路徑為資源在公共資料/使用者的分析下的存放路徑 |
匯入方式 | 在匯入時,系統會對資源進行檢查,檢查是否與系統現有資源有衝突 根據衝突型別分配不同的匯入方式,分為:新增匯入、改寫匯入和不允許匯入
注:若ID相同、型別相同的資源處在回收站中,也算作新增匯入。
|
資源資訊對比 | 當匯入方式為「改寫匯入」時,點選每一項後面的黃色按鈕,可查看匯入的資源資訊與原有的資源資訊對比,查看是否一致。 如下圖所示: |
注1:在匯入資源時,若該路徑下存在轉義名相同的資源,會自動對匯入的資源的轉義名進行修改,變為「轉義名1」。
注2:不支援空資料夾匯入。
注3:資源不允許匯入時,資源所有者顯示為「未知使用者」,可點選修改資源所有者為系統中的其他使用者,點選「確定」生效。
如果資源是公共資料中的資料集,修改資源所有者僅會改變該資源的所有者使用者ID。
如果資源是我的分析中的主題,修改資源所有者,會將該主題的路徑調整為對應使用者的分析下的路徑,並重新整理使用者ID。
4.2 匯入檔案
勾選需要上傳的資源,點選「匯入」,點選「確定」。如下圖所示:
若匯入失敗,顯示失敗的原因(如:匯出工程和匯入工程中存在同名同路徑但是型別不同);若匯入成功,則資源即時生效。如下圖所示:
注:由於對應的環境配置不同 IP 埠號會改變,資源遷移後的儀表板公共連結需要重新進行連結分享。
4.3 資料更新
若遷入的基礎表資源為「抽取資料」,匯入到新的系統中需要手動進行 資料更新 ,或者直接進行 全域性更新 。
更新後才能看到匯入的資料表均正常顯示,如下圖所示:
注:若匯入資料表為 Excel 資料集或者以 Excel 資料集為基礎表製作的資料集,則必須進行資料夾更新或者全局更新。
若匯入的資料表為資料庫表或者 SQL 資料集,則可以對匯入的表進行單表更新。