1. 入門簡介
FineDataLink 是帆軟軟體推出的一站式資料整合平台。
FineDataLink 從高效專業的角度出發,低程式碼/高時效融合多種異構資料,幫助企業解決資料孤島問題,提升企業資料價值。
透過本文,你可以快速瞭解資料開發定時任務的操作步驟,將一個資料庫中的資料定時抽取到指定資料庫中。
你將瞭解:
定時任務開發介面:熟悉 FineDataLink 資料開發介面。
資料同步:簡單瞭解「資料同步」節點的使用。
任務發佈版本管理:簡單熟悉「開發模式」與「生產模式」。
週期性調度:瞭解如何設定任務的執行頻率。
任務範例詳情參見官網 Demo:https://demo.finedatalink.com/ 「第一個定時開發任務」
2. 準備工作
若使用者只是想試用功能,無需參考本章內容,直接到 https://demo.finedatalink.com/ 中,參考本文第三章內容設計定時任務。
1)已完成 FineDataLink 工程部署:Tomcat独立部署FDL
2)確認工程已經註冊了相關功能:FineDataLink功能点注册授权
3)建立能夠進行資料開發的使用者並對使用者進行了資料開發權限分配:新增使用者與配置通用權限
4)使用者登入 FineDataLink 系統後,需要確認已部署好的工程中是否有自己需要的來源和目標資料庫。若沒有,則需要建立資料連結,建立資料庫與 FineDataLink 之間的聯絡。步驟請參見:[通用]配置資料連結
注:資料源支援類型詳情參見:FineDataLink支援的資料源
本文範例中,使用來源資料庫為預設 FRDemo,目標資料庫使用 MySQL 資料庫。如下圖所示:
或者讓管理者為使用者分配資料連結使用權限:資料連結權限概述
3. 操作步驟
使用者希望將 SQLite 資料庫 FRDemo 中的「S產品」資料表同步至 MySQL 資料庫 demotest 中,並且命名同步後的資料表為「product」,同時該同步任務每天執行一次以保持資料時效性。
3.1 建立定時任務
1)使用者進入 FineDataLink 工程,點選「資料開發」,在有權限的資料夾下建立定時任務。如下圖所示:
2)將定時任務重新命名為「第一個定時開發任務」,預設在「開發模式」下,進行任務設計編輯。如下圖所示:
注:開發模式與生產模式詳情參見:开发模式与生产模式
3.2 設定資料同步節點
3.2.1 設定資料來源
1)拖入「資料同步」節點。如下圖所示:
2)先設定資料從哪裏抽取,即確定來源資料庫。
在「資料來源」Tab 頁中,資料源類型選擇「SQLite」,資料連結選擇「FRDemo」。使用 SQL 語句取出資料:
注:在 FineDataLink 中使用到的所有資料連結不要隨意改名,改名會導致 FineDataLink 中選擇的資料連結和資料表丟失。
select * from Sproduct
點選「資料預覽」即可查看取數效果。如下圖所示:
3.2.2 設定資料去向與映射
1)設定資料抽取後儲存到哪裏去。
在「資料去向與映射」Tab 頁中,資料源類型選擇「SQLite」,資料連結選擇第二章中準備的目標資料庫「FRdemo」。
還需要設定資料儲存到哪張表裏去,此處直接選擇已存在的一個表來儲存這些資料,目標表選擇「已存在表」,表名稱填寫「product」。如下圖所示:
2)欄位映射是建立「來源端-目標端」的欄位對應關係,此處預設即可。欄位映射介紹請參見:欄位映射
3.2.3 設定寫入方式
「寫入方式」Tab 頁中,由於我們是已存在表,寫入方式選擇「清空目標表,再寫入資料」。如下圖所示:
注:「寫入方式」更多介紹請參見:寫入方式
3.2.4 重新命名節點名稱
為了方便以後的節點管理,可以重新命名該節點為「資料同步-Sproduct」。如下圖所示:
3.3 效果查看
1)在「開發模式」下點選「運作」按鈕,底部日誌會顯示節點運作情況。如下圖所示:
2)查看 MySQL 資料庫中「product」資料表,可以看到來源端資料已被同步進去。
3.4 發佈任務並設定調度
1)點選右上角「發佈」,即可將內容發佈至「生產模式」,然後在生產模式中即可看到發佈的任務。如下圖所示:
2)在「生產模式」下,為了保證資料的實時性,我們可以設定任務調度,比如設定任務每天執行一次,實現資料的定時更新。如下圖所示: