最新历史版本 :配置實時管道任務-資料來源&資料去向 返回文檔
編輯時間: 內容長度:图片数:目录数: 修改原因:
icon提示:
本文內容適用於 4.2.11.3 及之後版本；4.2.11.3 之前版本，請參見：歷史文檔

目錄:

1. 概述编辑

1.1 版本

FineDataLink 版本功能變動
4.0.6支援 MySQL 作為讀取資料源
4.1.8.1管道任務支援多對一同步；「選擇來源」步驟中可選擇多張結構相同的源表生成一個分組表
4.2.11.3
配置實時管道任務的步驟全面更新，本文介紹如何新增來源端和目標端
4.2.11.4

實時管道&實時任務中，點選「資料源權限檢查」按鈕後：

  • 來源端為 Oracle 時，新增「活躍交易檢查」檢查項

  • 原來的「資料源版本支援」檢查項改為「資料源版本檢查」

1.2 歷史版本

FineDataLink 版本
功能變動
4.0.7

支援 SQL Server 作為讀取資料源

支援 Oracle 作為讀取資料源

4.0.18支援 Oracle18c、19c、Oracle RAC 叢集作為讀取資料源
4.0.20.1支援 0.10.2 到 3.4 的 Kafka 版本作為讀取資料源
4.0.27

支援快速批量選擇需要同步的資料表

4.0.29

  • 支援在設定資料來源時，檢查資料源是否有日誌讀取權限

  • 自動遮蔽 Oracle 資料源 BLOB、CLOB、NCLOB、LONG、RAW、LONGRAW、BFILE 欄位同步

4.0.30

  • MySQL、Oracle、SQL Server、PostgreSQL 支援僅增量同步

  • 當「選擇來源」選擇「僅增量同步」時，去向表預設選擇「已存在表」，會自動執行一次同名匹配，且使用者仍可以手動切換為「自動建表」

4.1.4SAP HANA、DB2 支援作為讀取端
4.1.7.2來源表若包含 _fdl_update_timestamp、_fdl_marked_deleted 欄位，實時同步時會遮蔽這些欄位

1.3 功能簡介

建立實時管道任務後，需要設定資料來源（來源端的資料連結）和資料去向（目標端的資料庫）。如下圖所示：

2. 前提條件编辑

1）使用者需已做以下準備工作：

步驟

步驟一：資料源配置

根據實際情況選擇源端和目標端資料庫，資料管道支援的資料庫請參見：資料管道支援的資料源類型

在資料連結管理中配置源端和目標端的資料連結，便於在管道任務配置程式中，透過選擇資料源名稱來控制同步任務的讀取和寫入資料庫。詳情請參見：建立並管理資料源

步驟二：準備資料庫環境

基於需要設定資料管道任務的資料源，授予資料源配置的帳號在資料庫進行相應操作的權限。詳情請參見：資料庫環境準備概述

步驟三：管道任務環境準備

部署 Kafka 開源流處理平台作為中間軟體。詳情請參見：部署Kafka、快取配置

步驟四：分配管道任務權限

若需要使用資料管道的使用者不是超級管理者，則需要為對應使用者分配資料管道的使用權限。詳情請參見：管道任務管理權限

2）點選「資料管道>實時管道」，建立實時管道任務。如下圖所示：

3. 選擇資料來源和資料去向编辑

3.1 選擇資料來源和資料去向

1）管道任務支援的來源端請參見：資料管道支援的資料源類型

注：4.1.7.2 及之後版本，來源表若包含 _fdl_update_timestamp、_fdl_marked_deleted 欄位，實時同步時會遮蔽這些欄位。

2）點選「資料源權限檢查」按鈕，可以查看資料源是否有日誌讀取權限。如下圖所示：

  • 一些資料源會有「實時資料源檢查」設定項，代表檢查資料連結中的使用者有沒有具備實時同步所需要的相關權限。

  • 4.2.11.4 及之後版本，原來的「資料源版本支援」檢查項改為「資料源版本檢查」；檢查項新增「活躍交易檢查」：

當前所有活躍交易中最早開始時間早於日誌最早時間時，檢查結果提示「警告」，提示：當前存在活躍交易的開始時間早於歸檔日誌的最早時間，可能導致同步失敗，請手動處理活躍交易:[${交易 id 列表}]

3.2 讀取方式

根據來源端資料庫不同而變化。

4. 後續步驟编辑

進階設定說明請參見：配置管道任務-選擇資料去向