配置ClickHouse資料源

  • 文档创建者:Fay
  • 历史版本:15
  • 最近更新:Nikozhan 于 2025-02-10
  • 1. 概述

    1.1 版本

     FineDataLink 版本功能變動
    3.2
    定時任務中支援讀取 ClickHouse
    3.7
    定時任務支援寫入 ClickHouse
    4.0.28管道任務支援寫入 ClickHouse
    4.1.6.3資料服務支援 ClickHouse
    4.1.13.3
    資料開發-實時任務寫入支援 ClickHouse

    1.2 簡介

    ClickHouse 是面向列的資料庫管理系統(DBMS),用於對查詢進行聯機分析處理(OLAP)。

    FineDataLink 支援連結 ClickHouse,進行定時任務讀寫、管道任務寫入、作為資料服務資料發佈源、實時任務寫入。

    注:ClickHouse 資料庫的引擎需要是 Atomic 引擎,才支援寫入時自動建表功能。

    2. 準備工作

    2.1 前提條件

    詳情請參見:前提條件

    2.2 版本和驅動

    下載驅動,並將其上傳至 FineDataLink,如何上傳可參見:驅動管理 第 2 節。

    支援的資料庫版本驅動下載
    20.1

    clickhouse

    22.6

    clickhouse4j-1.4.4-SNAPSHOT.jar


    2.3 收集連結資訊

    在連結資料庫之前,請收集以下資訊:

    • 資料庫所在伺服器的 IP 地址和埠號。

    • 資料庫的帳號和密碼。

    • 需要連結的資料庫模式。

    3. 具體連結步驟

    1)管理者登入 FDL 工程,點選「管理系統>資料連結>資料連結管理」,選中某個資料夾後,建立資料連結。如下圖所示:

    2)設定資料連結名稱(可同時修改資料連結所在目錄)。如下圖所示:

    3)可根據資料源分類、支援形式、適配模組、資料源名稱篩選資料庫。如下圖所示:

    4)驅動切換為「自訂」選擇 2.2 節上傳的驅動,然後輸入 2.3 節的連結資訊。

    點選「點選連結資料庫」連結成功後,便可以選擇模式,如下圖所示:

    5)點選「測試連結」,若連結成功則「儲存」該連結。如下圖所示:

    4. 使用資料源

    配置好資料源後即可在「定時任務」中使用資料源,詳情參見:定時任務概述

    配置好資料源後即可在「資料管道」中將使用資料源,詳情參見:資料管道概述

    配置好資料源後即可在「資料服務」中將使用資料源,詳情參見:資料服務概述

    配置好資料源後即可在「實時任務」中將使用資料源,詳情參見:實時任務概述

    注:資料開發-實時任務中,目標端使用已存在表時,表中需要有_fdl_sign欄位來標記刪除情況。


    附件列表


    主题: 配置資料源
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!