1. 概述
1.1 版本
FineDataLink 版本 | 功能變更 |
---|---|
4.0.1.1 | 「管理系統>智慧維運>資源遷移」的資源匯出 Tab 下,新增 ETL 任務的匯出;資源匯入 Tab 下,可匯入 ETL 任務 |
4.0.21 | 獨立部署的 FineDataLink ,支援非超級管理者進行定時任務資源遷移 |
4.1.5.3 |
|
1.2 應用場景
使用 FineDataLink 時,一般先在測試環境系統上進行開發部署,確認無誤後再遷移到正式系統中。
使用者希望能夠批量遷移在測試環境製作的的定時任務或快速複用官方定時任務。
1.3 功能簡介
FineDataLink 提供資源遷移功能,支援將資料連結、伺服器資料集、定時任務資源從測試系統增量遷移到正式系統。
管理者登入 FineDataLink ,點選「管理系統>智慧維運>資源遷移」,分為「資源匯出」、「資源匯入」兩部分,如下圖所示:
資源匯出:將需要遷移到其他系統的資源從伺服器中匯出,以供後續遷移。
資源匯入:將需要遷移的資源在新系統中匯入,即遷移至新系統。
2. 使用須知
1)資源遷移功能僅支援超級管理者,次級管理者。
2)次管在進行「資源匯出」時不支援「同時匯出權限配置」。
3)正式工程需購買「智慧維運」功能點才可使用「資源遷移」功能。
4)請確定在資源遷移程式中,沒有其他人使用超級管理者帳號,否則部分執行請求可能被取消。
5)不建議在個人 PC 端工程開發定時任務後,再以資源遷移的形式同步到公司工程。
因為個人 PC 端沒有管理者維護,經常會因為 JAR 包不同步或資源以及配置不同步的問題導致資源遷移失敗,維運成本會很高。
6)4.1.5.3 之前版本不支援匯出 調度計劃;4.1.5.3 及之後版本支援匯出 調度計劃
7)遷移資料連結時,不支援遷移資料連結資料夾,只能遷移資料連結。
8)單次資源匯入內容不可超出2GB,否則在匯入資源時會報錯:out of memoryerror。請少量多次分配匯出和匯入資源。
3. 準備工作
3.1 權限限制
非超級管理者使用者想要使用資源遷移,需要為其分配「資源遷移」的使用權限,如下圖所示:
注:必須開啟資源遷移父節點「智慧維運」節點權限。
將「資料平台」中資料開發的使用權限分配給使用者,如下圖所示:
同時需要將定時任務的管理權限分配給使用者,該使用者才能有指定定時任務的資源遷移權限,如下圖所示:
3.2 確認版本
資源遷移之前,請確定資源匯入和匯出的 FineDataLink 工程使用的版本一致(包括 JAR 包時間)。
管理者可在「管理系統>註冊管理>版本資訊」下查看 JAR 包時間,如下圖所示:
若版本不一致,可透過升級來確定版本一致。
注:在資源匯入時,若上傳資源對應的工程和當前工程版本不一致,則無法上傳。
提示:無法匯入,即將匯入的資源需要的工程版本:XXX。當前工程版本:XXX。請確定工程版本一致!
3.3 系統備份
資源匯入前建議對測試系統和正式系統均進行 備份還原,如下圖所示:
注:備份遷移到的 MySQL 資料庫需要選擇 utf8_bin 的排序規則。
3.4 確認資料庫大小寫
若系統配置了 外接資料庫 ,在資源遷移前,請確定正式系統和測試系統的「資料庫預設字元校驗規則」都為「大小寫敏感」。
以 Mysql 為例:
3.4.1 進行設定
設定方式:若配置了外接資料庫,連結 FineDB 資料庫,開啟 FINE_CONF_ENTITY 表,設定字元校驗規則為 utf8_bin,輸入命令如下:
3.4.2 查看設定結果
如下圖所示:
3.5 確認插件和驅動
1)若資料連結需依賴第三方插件,目前只支援 JSON 資料集和 Mysql8 資料連結,其他插件類型不適配,會匯入失敗。
2)資料連結遷移只遷移配置。驅動 jar 包、kerberos 認證檔案、JNDI 配置檔案等都不會遷移,需要手動配置/放置。
請在進行資料連結遷移前,確認正式工程下是否提前安裝依賴的相關資料連結插件,否則將導致匯入失敗。
請在進行資料連結遷移前,確認正式工程下是否提前安裝依賴的相關資料連結驅動,否則將導致匯入的資料連結不可使用。
3.6 確認資料連結
若需要進行資料連結遷移,需要在資源遷移匯入前,保證正式系統已建立好了資料連結,且該資料連結名需與測試系統一致,否則資源無法遷移成功。
伺服器資料集若依賴相關資料連結,請確認將相關資料連結匯入正式工程,否則匯入的伺服器資料集無法使用。
4. 測試系統下資源匯出
4.1 選擇資源
管理者登入 FineDataLink 後,進入「管理系統>智慧維運>資源遷移」,選擇「資源匯出」。
選擇需要匯出的資源類型,選擇每種類型下需要匯出的具體內容,支援多選。如下圖所示:
注:匯出定時任務時,可選擇將該任務使用到的資料連結一起匯出,則在正式系統匯入資源包後,可直接複用定時任務。
可匯出的資源如下:
工程 | 資源類型 | 說明 |
---|---|---|
FDL 獨立部署工程 | 資料連結 | 可選取 FineDataLink 中的資料連結 匯出資料連結時的資源包括:資料連結的所有配置(基礎配置、進階配置) 注:資料連結的密碼加密匯出,keytab 金鑰路徑不支援匯出、遷移後需要手動輸入。 |
伺服器資料集 | 請參見:測試系統下資源匯出 | |
定時任務 | 可選取 FineDataLink 中的定時任務 |
4.2 選擇同時匯出的資源
1)FDL 獨立部署工程中,在匯出時若勾選「同時匯出權限配置」,即可同時匯出資源的權限配置,權限配置類型包括:使用、管理權限。如下圖所示:
同時匯出權限配置說明如下:
資源類型 | 說明 |
---|---|
資料連結 | 如不勾選,資料連結匯入到「正式系統」中時,會繼承正式系統中的權限。 如勾選該選項,資料連結匯出匯入時,會將「測試系統」中的權限實體同時匯出匯入 |
伺服器資料集 | 遷移資源類型為「伺服器資料集」時,該選項不生效 |
定時任務 | 遷移資源類型為「定時任務」時,該選項不生效 |
事件調度依賴的任務在新工程中根據任務 id 匹配,若沒有跟隨匯入,允許資源匯入,匯入後提示使用者缺少依賴任務。
匯入後提示列表為「定時任務」和「調度計劃」兩個獨立檢查項。如下圖所示:
定時任務的檢查項不包括調度計劃中任務的缺失。
若定時任務中使用了「呼叫任務」節點,支援只匯入父任務。
若事件調度和排程管理計劃名衝突,或者單個任務調度和批量調度計劃名衝突,則調度計劃名後增量加1。
定時任務設定了批量事件調度或批量排程管理,若即將匯入的調度計劃名和已有工程的調度計劃名衝突:
場景 | 說明 |
---|---|
例如: A工程:調度計劃A:任務1,任務2; B工程:調度計劃A:任務1,任務3,任務4 A工程中任務1匯入B工程,勾選「匯出調度計劃」按鈕 | 範例結果:B工程中:調度計劃A:任務1,任務3,任務4 1)新舊工程的調度計劃任務列表取並集,去除沒有同名匹配上的任務(例如任務2,沒有匯入任務2則B工程中沒有任務2);調度配置改寫 2)事件調度匯入時若存在一個任務對應多個事件調度的情況,則直接報錯:任務不支援匯入 |
4.3 匯出的檔案
匯出後會生成 resources.zip 檔案。
5. 正式系統下資源匯入
5.1 上傳檔案
超級管理者登入 FineDataLink ,選擇「管理系統>智慧維運>資源遷移>資源匯入」,如下圖所示:
注:單次只允許上傳單個壓縮檔案。
注2:單次資源匯入內容不可超出2GB,否則在匯入資源時會報錯:out of memoryerror。請少量多次分配匯出和匯入資源
系統會獲取匯入檔案所包含的資源,包含類型、平台路徑、物理資源、權限資訊及匯入方式。
設定 | 說明 |
---|---|
類型 | 類型包括:資料連結、伺服器資料集、定時任務 |
平台路徑 | 資源類型為「資料連結」時,路徑為「匯出系統」的資料連結名稱 資源類型為「伺服器資料集」時,路徑為「匯出系統」的伺服器資料集的名稱 資源類型為「定時任務」時,路徑為「匯出系統」的定時任務在平台中的路徑 |
物理資源 | - |
權限資訊 | 點選「詳情」可查看權限資訊 其中會提示「目標系統」是否有部門/角色/使用者在被匯入系統中的缺失情況 注:權限缺失不影響定時任務的匯入,如有缺失,匯入時自動忽略權限配置 |
匯入方式 | 在匯入時,系統會對匯入資源進行檢查,檢查是否與系統現有資源有衝突。 衝突檢驗以資源的原始名與其在平台中的路徑名為準。 匯入方式分為直接匯入和改寫匯入
其中,定時任務的改寫匯入如下:
|
衝突檢查 | 平台路徑:路徑衝突 |
5.2 匯入檔案
勾選需要上傳的資源,點選「匯入」。如下圖所示:
若匯入失敗,顯示失敗的原因(如:匯入不支援的插件類型資料連結或者匯入工程沒有安裝插件);若匯入成功,則資源即時生效。如下圖所示:
注:若匯入的資源中包含多個定時任務,匯入完成後,顯示 0 項匯入成功, 0 項匯入失敗,可嘗試分批匯入。
點選「資料開發」,可看到匯入成功的定時任務,如下圖所示:
6. 特殊場景說明
場景 | 說明 |
---|---|
同工程有多人同時匯出資源 | 一個工程,同時只能有一個匯出任務進行,如果不同的使用者同時匯出或者重複匯出,後面運作的直接報錯提醒 |