历史版本17 :配置ClickHouse数据源 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

 FineDataLink 版本功能变动
3.2
定时任务中支持读取 ClickHouse
3.7
定时任务支持写入 ClickHouse
4.0.28管道任务支持写入 ClickHouse
4.1.6.3数据服务支持 ClickHouse
4.1.13.3
数据开发-实时任务写入支持 ClickHouse

1.2 简介

ClickHouse 是面向列的数据库管理系统(DBMS),用于对查询进行联机分析处理(OLAP)。

FineDataLink 支持连接 ClickHouse,进行定时任务读写、管道任务写入、作为数据服务数据发布源、实时任务写入。

注:ClickHouse 数据库的引擎需要是 Atomic 引擎,才支持写入时自动建表功能。

2. 准备工作编辑

2.1 前提条件

详情请参见:前提条件

2.2 版本和驱动

下载驱动,并将其上传至 FineDataLink,如何上传可参见:驱动管理 第 2 节。

支持的数据库版本驱动下载
20.1

clickhouse

22.6

clickhouse4j-1.4.4-SNAPSHOT.jar


2.3 收集连接信息

在连接数据库之前,请收集以下信息:

  • 数据库所在服务器的 IP 地址和端口号;

  • 数据库的用户名和密码;

  • 需要连接的数据库模式;

3. 具体连接步骤编辑

1)管理员登录 FDL 工程,点击「管理系统>数据连接>数据连接管理」,选中某个文件夹后,新建数据连接。如下图所示:

2)设置数据连接名称(可同时修改数据连接所在目录)。如下图所示:

3)可根据数据源分类、支持形式、适配模块、数据源名称筛选数据库。如下图所示:

4)驱动切换为「自定义」选择 2.2 节上传的驱动,然后输入 2.3 节的连接信息。

点击「点击连接数据库」连接成功后,便可以选择模式,如下图所示:

5)点击「测试连接」,若连接成功则「保存」该连接。如下图所示:

4. 使用数据源编辑

配置好数据源后即可在「定时任务」中使用数据源,详情参见:数据开发概述

配置好数据源后即可在「数据管道」中将使用数据源,详情参见:数据管道概述

配置好数据源后即可在「数据服务」中将使用数据源,详情参见:数据服务概述

配置好数据源后即可在「实时任务」中将使用数据源,详情参见:实时任务概述

注:数据开发-实时任务中,目标端使用已存在表时,表中需要有_fdl_sign字段来标记删除情况。