"資料管道" 分类下的文档该分类下有17篇文档创建该分类下的文档
資料管道概述
文档创建者:Roxy      创建时间:08-16 14:47      标签:      编辑:72次    |   浏览:37318次

摘要:1. 概述1.1 應用場景企業在構建數倉和中間庫時,由於業務資料量級較大,如果使用 資料同步 批量定時同步資料很難做到高效能的增量同步,若使用清空目標表再寫入資料的方式時,還會面臨目[阅读全文:]

SQL Server環境準備
文档创建者:Roxy      创建时间:08-16 14:55      标签:      编辑:25次    |   浏览:13072次

摘要:1. 概述CDC(Change Data Capture),即資料變更抓取,透過為源端資料源開啟CDC,可實現資料源的實時資料同步以及資料表的 DDL 同步。本章節主要介紹如何為 SQL Server[阅读全文:]

資料管道-同步源表結構變化
文档创建者:Roxy      创建时间:12-30 15:26      标签:      编辑:48次    |   浏览:8534次

摘要:1. 概述1.1 版本 FineDataLink 版本功能變動4.0.17支援Mysql 設定同步源表結構變化4.1.8.2資料管道支援寫入神通資料庫,該資料庫支援DDL4.1.9.3支援使用[阅读全文:]

管道任務範例
文档创建者:Wendy123456      创建时间:01-23 14:13      标签:      编辑:9次    |   浏览:4540次

摘要:1. 概述本文以 MySQL 資料同步為例,將 demotest 資料庫中的「訂單資訊」、「庫存資訊」、「成本中心對照表」實時同步至 demo1 資料庫中。2. 操作步驟2.1 準備工作需準備一個獨立部[阅读全文:]

配置管道任務-選擇資料來源
文档创建者:Wendy123456      创建时间:01-18 16:06      标签:      编辑:8次    |   浏览:3575次

摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.6支援 MySQL 作為讀取資料源4.1.4SAP HANA、DB2 支援作為讀取端4.1.7.2來源表若包含 _fdl_update[阅读全文:]

配置管道任務-管道控制
文档创建者:Roxy      创建时间:07-31 15:53      标签:      编辑:16次    |   浏览:4326次

摘要:1. 概述FineDataLink版本功能變動4.0.26「管道控制」步驟中,新增「失敗重試」設定4.0.27髒資料臨界值由某個任務在某次開始運作到結束運作的區間臨界值變為任務自建立至今整體臨界值4.0[阅读全文:]

配置管道任務-表欄位映射
文档创建者:Roxy      创建时间:07-31 15:38      标签:      编辑:41次    |   浏览:4566次

摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.5-4.1.11.2管道任務自動建表支援指定分割槽(YMatrix )和分佈(YMatrix)邏輯,詳情參見:讀取、建立、寫[阅读全文:]

配置管道任務-選擇資料去向
文档创建者:Roxy      创建时间:07-31 15:02      标签:      编辑:44次    |   浏览:5174次

摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.5-4.1.7.3支援 HANA 作為寫入資料源4.1.8.1配置管道任務-選擇資料來源 步驟中生成的分組表,不支援 DDL[阅读全文:]

Oracle环境准备(LogMiner)
文档创建者:Roxy      创建时间:08-16 14:54      标签:      编辑:45次    |   浏览:12487次

摘要:1. 概述1.1 版本FineDataLink 版本功能變動--4.1.2支援多租戶架構作為管道任務資料來源端4.2.2.3資料管道源端適配 Oracle 21cCDC(Change Data Capt[阅读全文:]

配置傳輸佇欄
文档创建者:Roxy      创建时间:08-05 14:09      标签:      编辑:28次    |   浏览:14855次

摘要:1. 概述1.1 版本說明FineDataLink 版本功能變動4.0.5-4.1.3管道任務寫入端主動檢查 Kafka 連結是否異常,若異常,則日誌提示並終止任務4.1.13.2認證方式新增[阅读全文:]

部署Kafka:ZooKeeper模式
文档创建者:Roxy      创建时间:08-08 12:00      标签:      编辑:43次    |   浏览:20503次

摘要:1. 概述FineDataLink 支援使用 Kafka 作為資料同步的中間軟體,暫存來源資料庫中的資料,便於目標資料庫寫入資料,實現實時資料同步。本文介紹 Kafka Z[阅读全文:]

SAP HANA環境準備
文档创建者:Roxy      创建时间:12-08 17:01      标签:      编辑:5次    |   浏览:1921次

摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.4-FineDataLink 資料管道支援執行同步任務前,需要參考本文為使用者賦予一些權限,為後續的資料同步做好準備。2. 使用者賦權[阅读全文:]

IBM DB2環境準備
文档创建者:Roxy      创建时间:12-07 14:50      标签:      编辑:7次    |   浏览:1045次

摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.4-CDC(Change Data Capture),即資料變更抓取,透過為源端資料源開啟CDC,FineDataLink 資料管道可[阅读全文:]

Oracle環境準備(XStream)
文档创建者:Roxy      创建时间:10-12 17:47      标签:      编辑:18次    |   浏览:2936次

摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1-4.1.2支持多租戶模式4.2.2.3數據管道源端适配 Oracle 21cCDC(Change Data Capture),即數據變[阅读全文:]

管道任務匯入匯出
文档创建者:Roxy      创建时间:09-22 14:52      标签:      编辑:5次    |   浏览:2814次

摘要:1. 概述1.1 版本FineDataLink 版本功能說明4.0.30-1.2 應用場景開發人員希望能匯出開發完成的管道任務給維運人員遷移到正式生產的工程上調度運作。FineDataLink 工程做好[阅读全文:]

資料管道任務-Kafka
文档创建者:Roxy      创建时间:02-28 15:30      标签:      编辑:13次    |   浏览:6989次

摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.20.1資料管道支援從 Kafka 資料源中取數4.0.27交互體驗優化4.0.30選擇來源步驟中,隱藏「同步類型」設定項1.2 應用[阅读全文:]

MySQL環境準備
文档创建者:Roxy      创建时间:08-16 14:57      标签:      编辑:32次    |   浏览:13036次

摘要:1. 概述CDC(Change Data Capture),即資料變更抓取,透過為源端資料源開啟CDC,可實現資料源的實時資料同步以及資料表的 DDL 同步。本章節主要介紹如何為 MySQL 資料庫開啟[阅读全文:]