FineDataLink產品簡介

FineDataLink 是一款低程式碼/高時效的企業級一站式資料整合平台，面向使用者大數據場景下，實時和離線資料獲取、整合、管理的訴求，提供快速連結、高時效融合各種資料、靈活進行 ETL 資料開發的能力，幫助企業打破資料孤島，大幅激活企業業務潛能，使資料成為生產力。

讓資料接得上、算得快、可相信、廣消費，幫助企業建設面向 AI Ready 的可信實時資料層。

產品受眾

目標客戶

• 資料建設不完善：未搭建專業規範的資料倉儲，資料未達到可直接使用的狀態。

• 業務需求個性化：數倉建設主要滿足通用的資料使用場景，個性化的業務場景未能滿足。

• 敏捷開發的需求：希望在做報表展示、資料分析之前或做的程式中，能夠快速調整用到的資料。

• 任務維護效率低：透過資料庫或者程式碼編寫很多資料調度任務，缺少統一平台進行管理與維護。

• 資料分析展示慢：透過資料分析展示工具寫了大量複雜sql，導致應用資料在分析展現時效能很差。

目標使用者

• 職位定位：需要做資料處理的報表開發工程師，資料處理人員、數倉開發工程師、IT人員

• 核心交易：為資料使用準備資料，處理資料。

3.1 功能結構

資料獲取：快速、安心接入各類資料源

1）接的多：FineDataLink 支援對接的資料源類型請參見：FineDataLink支援的資料源 

2）接的快：

• 實時管道-高效能資料實時同步引擎：基於CDC、LogMiner、Binlog等日誌實時擷取源資料庫的變化，多表批量實時更新到目的資料庫，保障資料高時效性、降低資料整合工作量。解決企業在大數據場景下的實時同步需求。

• 面向抽取、計算與實時增量場景，按任務特徵匹配高效能處理引擎。

FDL 各功能模組說明

詳情請參見：FineDataLink模組介紹

3.2 配置要求

對於軟硬體環境的配置要求詳情參見：FineDataLink部署環境準備

3.3 部署說明

支援 FineOPS、K8s 與信創環境，適配不同企業的部署與維運體系。

支援的國產化環境：FineDataLink支援的國產化環境

4.1 定時任務

1）專業靈活的資料處理模式

面向 IT 或資料分析師，提供更專業的資料開發模式，透過靈活的 ETL 資料開發和任務引擎預先處理資料，進而為分析使用者提供更高品質、更利於展示與分析的公共基礎資料。

2）步驟流編排流程，資料流處理資料

步驟流確定資料開發各個環節的執行邏輯；資料流透過提供各類算子，完成對資料輸入、匯出、轉換等操作。

3）提供多種資料轉換算子，靈活處理資料

• 循環容器，應對更多資料的循環遍歷轉換場景。

• Spark SQL/Python/Shell等腳本類，支援更多靈活轉換場景。

• 資料流提供多種資料轉換算子，滿足複雜處理場景。

• 半結構化資料處理：JSON/XML/CSV等格式一鍵處理，靈活轉換為結構化資料/其他格式的半結構化資料，並支援檔案傳輸。

• 對接企微，實現“資料找人”。

4）多樣化調度：適配不同業務節奏與觸發方式

開發程式管理：排程管理、事件調度和觸發式調度，滿足企業的多樣化調度需求。

4.2 實時任務

實時任務實現資料端到端流轉，傳輸途中可完成實時清洗、解析等加工處理，匯出可用資料支撐業務，提升資料時效性與利用率。

1）實時業務資料計算，畫布式開發，提供豐富的封裝好的組件，降低實時資料開發門檻。

2）拓展的 Flink SQL 能力，提升計算效能，支援多種自訂實時資料處理場景。

4.3 資料服務

零程式碼發佈API，快速回應業務需要，讓資料的流動更廣、更安全。

• 快速發佈：對比程式碼開發，資料服務零程式碼開發模式，只需要寫SQL/設定資料去向即可，可以有效降低開發門檻，減少開發耗時。

• 安全共享：企業需要資料共享時，比如將訂單資料給供應商，或作為供應商提供庫存等資訊到渠道夥伴，為了不曝光資料庫資訊，選擇使用FDL來發布API，規避了資料泄漏的安全風險。

• 穩定呼叫：可對全局或者指定的應用和服務進行流控規則的設定，在異常情況下可立即進行流控熔斷，同時異常情況可馬上通知到管理者，進行問題排查和解決。
  

• 統一管控API認證、授權與有效期：支援在建立 API 時和建立後綁定其至對應的應用中，可在應用中為多個 API 統一設定認證方式、授權有效期。應用與 API 是多對多的對應關係，同一個 API 可以存在於多個應用中；同一個應用中也可以有多個 API，API 將得到高效呼叫。

4.4 定時管道

針對雲星空、聚水潭、旺店通、吉客雲等應用系統平台，透過雲上代理轉發+解析方案，以定時任務方式對接 SAAS 應用資料，簡化資料獲取流程，提高資料對接效率。

優勢：資質免申請、先導式操作。

4.5 實時管道

基於 CDC、LogMiner、Binlog 等日誌實時擷取源資料庫的變化，多表批量實時更新到目的資料庫，保障資料高時效性、降低資料整合工作量。解決企業在大數據場景下的實時同步需求。

4.6 資料管理

4.6.1 庫表管理

提供表資料/結構預覽和查詢、SQL除錯功能的一站式體驗，方便進行表的管理和表結構缺陷的調整。

4.6.2 血緣分析

排錯（溯源分析）：當遇到資料庫表使用遇到問題，需要資料維運人員，回溯到任務進行修改，可以透過血緣關係進入到對應的資料開發任務。

調優：當資料開發人員完成開發後，需要對全局ETL判斷是否存在資料重複處理和調度的情況，可以從此處進行資料處理鏈路調優。

4.6.3 資料清理

應用場景：

1）來源表中大量的表、欄位都有同樣的資料問題，需要統一設定清洗規則，將值匹配後取代。

2）來源表敏感資訊欄位需要脫敏、加密處理，匯出到下游資料表中。

簡介：

4.6.4 資料品質

對企業資料進行品質標準制定、資料品質檢查、覈驗和品質問題解決四大步驟的可持續營運動作為資料分析應用提供滿足品質要求的資料。

1）制標度準：讓資料品質可定義、可衡量

透過資料品質標準，確定清洗規則、檢查規則和檢查物件。

2）檢查覈驗：確定品質標準落地

檢查規則：對資料的唯一性、一致、準確性、完整性、有效性、即時性檢查，保證資料高品質匯出。

• 品質報表簡介：

統一呈現異常明細、問題清單與處理進度，讓品質狀態可見、可磁軌。

4.7 任務維運

1）任務風險實時可見、可控

統一監視任務運作、效能與異常狀態，幫助維運人員快速識別和處理風險。

2）以全局指標支撐效能調優

匯總各模組運作指標與血緣資訊，為效能調優和故障定位提供依據。

4.8 權限管理

1）企業級管控：統一管理組織、資源與權限

統一管理使用者、組織、資源和操作權限，兼顧協作效率與平台安全。

2）細粒度授權：保障平台與資料使用安全

資源權限控制，增強權限管理細粒度，保障資料整合與治理平台的安全性。

多源資料統一採集，讓資料從“分散”走向“匯聚”

大幅降低資料從應用系統同步至本地資料庫的開發和人工成本，並且支援和本地資料進行聯動，實現深度業務分析場景，用以支撐業務發展需要。

視覺化數倉開發，讓資料從“匯聚”走向“可用”

透過DAG+低程式碼開發模式構建企業級資料倉儲，實現實時與成成成批處理雙管道協同，高效整合、標準化分散的資料，全量歷史資料統一入倉支撐多元分析場景，支撐高效決策，降低業務系統負載壓力；同時利用實時資料流處理保障系統穩定性，賦能敏捷決策。

全鏈路實時改寫，將“事後分析”升級為“即時行動”

資料問題、業務風險需要實時監視和預警，企業發展需要實時資料更快速決策；物網路連結資料依賴實時協定，難以採集作為業務決策的資料支撐；實時技術難應用，落地技術門檻高難度大，且後期難維運。

資料品質閉環治理，讓資料從“可用”走向“可信”

問題更早發現：從業務使用後才曝光，轉向關鍵資料持續檢查，讓風險止於影響業務之前

問題更快解決：貫通發現、定位、處理全流程，減少人工排查，讓資料問題快速閉環

問題不再反覆：將一次問題沉澱為長期規則，從“解決一個”走向“預防一類”，持續提升資料可信度。

資料服務API化，讓資料從“沉澱”走向“流通”

基於FDL的API資料接入和匯出、資料服務接收和發佈的能力，構建了“聯接共享”的資料基座，保證安全、穩定傳輸的前提下，實現數出一孔，互通共享。

業務資料實時交換，讓業務從“割裂”走向“協同”

透過業務系統實時資料交換方案讓同一訂單、履約或結算物件的關鍵資料變化即時送達後續環節，並持續傳回處理結果，讓業務流程不中斷。

若需要使用FineDataLink，請聯絡技術支援獲取。