历史版本7 :配置ClickHouse資料源 返回文檔
編輯時間: 內容長度:图片数:目录数: 修改原因:

目錄:

1. 概述编辑

1.1 版本

 FineDataLink 版本功能變動
3.2
定時任務中支援讀取 ClickHouse
3.7
定時任務支援寫入 ClickHouse
4.0.28管道任務支援寫入 ClickHouse
4.1.6.3資料服務支援 ClickHouse
4.1.13.3
資料開發-實時任務寫入支援 ClickHouse

1.2 簡介

ClickHouse 是面向列的資料庫管理系統(DBMS),用於對查詢進行聯機分析處理(OLAP)。

FineDataLink 支援連結 ClickHouse,進行定時任務讀寫、管道任務寫入、作為資料服務資料發佈源、實時任務寫入。

注:ClickHouse 資料庫的引擎需要是 Atomic 引擎,才支援寫入時自動建表功能。

2. 準備工作编辑

2.1 前提條件

詳情請參見:前提條件

2.2 版本和驅動

下載驅動,並將其上傳至 FineDataLink,如何上傳可參見:驅動管理 第 2 節。

支援的資料庫版本驅動下載
20.1

clickhouse

22.6

clickhouse4j-1.4.4-SNAPSHOT.jar


2.3 收集連結資訊

在連結資料庫之前,請收集以下資訊:

  • 資料庫所在伺服器的 IP 地址和埠號。

  • 資料庫的帳號和密碼。

  • 需要連結的資料庫模式。

3. 具體連結步驟编辑

1)管理者登入 FDL 工程,點選「管理系統>資料連結>資料連結管理」,選中某個資料夾後,建立資料連結。如下圖所示:

2)設定資料連結名稱(可同時修改資料連結所在目錄)。如下圖所示:

3)可根據資料源分類、支援形式、適配模組、資料源名稱篩選資料庫。如下圖所示:

4)驅動切換為「自訂」選擇 2.2 節上傳的驅動,然後輸入 2.3 節的連結資訊。

點選「點選連結資料庫」連結成功後,便可以選擇模式,如下圖所示:

5)點選「測試連結」,若連結成功則「儲存」該連結。如下圖所示:

4. 使用資料源编辑

配置好資料源後即可在「定時任務」中使用資料源,詳情參見:定時任務概述

配置好資料源後即可在「資料管道」中將使用資料源,詳情參見:資料管道概述

配置好資料源後即可在「資料服務」中將使用資料源,詳情參見:資料服務概述

配置好資料源後即可在「實時任務」中將使用資料源,詳情參見:實時任務概述

注:資料開發-實時任務中,目標端使用已存在表時,表中需要有_fdl_sign欄位來標記刪除情況。