建立並管理資料源

1.1 版本

1.2 應用場景

FineDataLink 的資料開發、資料管道、資料服務、資料管理模組支援連結多種資料源進行資料的處理操作。

在使用 FineDataLink 處理、同步資料前，您需要先定義資料連結，以便在執行資料處理操作時，透過「資料庫>資料連結名稱>資料表」，來確定資料的讀取和寫入位置。

1.3 功能簡介

本文講解如何在 FDL 中配置資料連結和管理資料連結。

2.1 前提條件

詳情請參見：前提條件

2.2 步驟說明

1）管理者進入 FDL 工程，點選「管理系統>資料連結管理」頁面。點選「建立>資料夾」，可以使用資料夾對資料連結進行分類管理。如下圖所示：

注：資料夾名稱不可為空，不可重名，不能超過 60 個字元；只可建立一級資料夾。

在某資料夾中建立資料連結。如下圖所示：

2）輸入資料連結名稱後，選擇資料庫類型，點選「下一步」按鈕。

可透過搜尋資料庫名稱來快速選擇資料庫類型；也可透過資料源分類、支援形式、適配模組來篩選資料庫類型。

注：所有資料夾下的資料連結名稱，均不能重名。

注2：4.2.4.2 及之後版本，可選擇的資料源類型由當前工程環境控制。

滑鼠懸浮在資料名稱右側的問號標識上，可顯示該資料源適配的模組。如下圖所示：

注：4.2.4.2 及之後版本，問號標識處顯示的內容由當前工程環境控制。

注2：4.2.15.1 及之後版本，問號識別處顯示的內容與購買的模組相關。例如 PostgreSQL 支援定時管道寫入，若未購買定時管道模組，此資料源問號處將不展示定時管道資訊。

3）輸入資料庫的相關資訊。如下圖所示：

以下為資料連結資訊的詳細解譯，不同資料庫要設定的連結資訊不同。

每個資料庫的資料連結設定項請在 FDL 說明文檔中搜尋查看（範例：配置Oracle資料源）。

點選「測試連結」，即可測試是否可以連結成功。

若使用者不需要設定連結池，即可點選「儲存」。完成資料連結配置。

在連結資料庫時，可能需要進行一些進階設定，但大部分情況下是不需要設定的。

我們可以根據需要選擇性設定，如下圖所示：

1）Fetchsize 設定

fetchSize 參數是用於控制從資料庫中獲取資料的成批處理大小的設定。較小的 fetchSize 值會減少每次資料庫查詢的記憶體消耗，但可能需要更多的資料庫往返來獲取完整的結果集；較大的 fetchSize 值可以減少資料庫往返次數，但會增加記憶體使用量。可以根據你的需求透過設定 fetchSize 參數值，來優化資料庫查詢效能 。

若參數值 ≤ 0（例如：-20）則表示不開啟 fetchSize 參數 。

Oracle、DB2、Postgre 這三種資料庫必須設定 fetchSize 參數，所以若設定了≤0 的參數值，會自動分別被取代為 128、50、10000 。

其他資料庫預設情況下不開啟 fetchSize 參數 。

若為空則表明不配置此項參數 。

2）SocketTimeout 設定

設定套接字逾時時長（連結接等待或資料傳輸的最長時間），超過此時間會強制中斷連結 。

為空或輸入為0時，視為不設定逾時 。

3.1 連結池設定

對連結池進行設定，選擇「連結池設定」按鈕，如下圖所示：

更多設定（不常用，如無特殊場景不建議修改）：

3.2 SSH 設定

若使用者安全性要求高，需要使用 SSH 。可以直接勾選「使用SSH通道」，輸入對應資訊。

注：驗證方法支援密碼和公用鍵，其中選擇「公用鍵」需要將檔案放置在 %FineDataLink%/webapps/webroot/WEB-INF/resources 下。

點選「測試連結」，若提示連結成功，點選「儲存」儲存該配置。

3.3 SSL 設定

提示:

不勾選「使用SSL通道」，代表不用上傳 SSL 憑證，但資料連結時還會驗證 SSL，若想不驗證 SSL，資料連結URL中配置：useSSL=false

1）在%FineDataLink%/webapps/webroot/WEB-INF/resources/certificates 中put 命令 CA 證件、使用者端證件以及使用者端金鑰，如下圖所示：

2）勾選「使用SSL通道」，將檔案新增進對應位置。如下圖所示：

3）點選「測試連結」，若連結成功點選「儲存」儲存該配置。

4.1 單個資料連結管理

資料連結建立成功後，介面如下圖所示：

注：使用者建立的資料夾、資料連結，預設具備使用和管理權限。

滑鼠懸浮在資料連結名稱右側，可對資料連結做編輯、重新命名、複制、刪除、測試連結操作。如下圖所示：

注：刪除資料連結前，可先查看資料連結的引用關係，確定該資料連結可以被刪除，不影響其他資源

「資料連結管理」各設定項說明如下表所示：

需要注意以下幾點：

• 未適配的資料庫類型右側不顯示圖示。

• 在管理資料連結時，資料連結的名稱不能隨意改動。更新到本地的表與資料庫匹配依靠的是資料連結的名稱，如果修改資料連結的名稱，從該連結中取出的表將無法再更新。  

  如果是 SQL 資料集，也會導緻沒有「修改 SQL」的按鈕。
  

• 如果更新本地儲存的表中的資料庫，例如由開發環境變化到生産環境，表名與表結構均一緻時，只需要修改資料連結的 URL 即可。本地儲存的表依照資料連結名依然可以更新資料。

4.2 資料夾管理資料連結

1）資料管理頁面介紹

獨立部署工程：

點選資料夾或根目錄，可透過資料連結名稱（不區分字母大小寫，支援模糊搜尋）、資料源類型（可多選，為表格中已有的資料源類型）、建立人（可多選，為表格中已有建立人）、測試結果（可多選，4.2.6.1 及之後版本新增）搜尋資料連結。如下圖所示：

表格內容介紹如下表所示：

叢集工程：

資料管理頁面如下圖所示：

點選連結池資訊中的「詳情」按鈕，展示「活動連結佔比」和「閒置連結數」。如下圖所示：

設定項說明與獨立部署工程相同。

2）可對資料夾進行重新命名、刪除操作。如下圖所示：

資料夾下存在資料連結時，不支援刪除該資料夾。

3）可將資料連結從 A 資料夾中拖曳到 B 資料夾中；資料夾不支援拖曳到另外一個資料夾中，最多支援一層資料夾。

4.3 資料連結逾時檢查

在「資料連結管理>全局設定」中，提供「資料連結逾時檢查」功能，支援使用者自訂資料連結的逾時時間。

資料連結逾時時，報錯「31300010 kdc伺服器不連通」，可手動調大逾時時間。

4.4 測試連結檢查項說明

應用場景：

1)因業務需求調整，導致資料庫發生變更，使用者需要同步修改任務中使用的資料連結，但是不清楚每個資料連結被多少任務用到，不方便調整。

2)4.2.6.4 及之後版本，對有權限的資料連結，支援使用者查看資料連結和資源的引用關係。

5.1 功能說明

1）選擇某一資料連結，點選「引用關係」。如下圖所示：

所有資料連結列表中增加「引用關係」欄位，展示使用該資料連結的任務數。如下圖所示：

2）在彈窗中，以列表的形式展示該資料連結所有的引用資源，可篩選展示自己有權限的資源。如下圖所示：

3）展示的模組包含定時任務、資料管道、資料服務API、全局參數；

引用資源為定時任務時，支援展開查看節點和算子，也支援點選跳轉到對應的資源查看。

注 1：引用資源為定時任務時，不展示禁用節點；

注 2：若資源中所使用的資料連結取代名稱，但任務配置中沒有聯動變更，則無引用關係。

5.2 引用關係的更新策略