注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.1.11.4 | - |
4.1.13.3 | 数据开发-实时任务写入支持 Clickhouse |
4.2.1.4 |
|
1.2 应用场景
用户需要将数据实时输出至指定数据库中,便于使用数据进行报表和实时大屏制作和展示。
1.3 功能简介
FineDataLink 「实时任务」支持使用 DB表输出算子实时将数据输出至指定数据库中。
1.4 支持使用的数据源
MySQL、Oracle、PostgreSQL、SAP HANA、SQL Server、达梦、GreenPlum、Doris、StarRocks、GaussDB 200、Clickhouse、TiDB、Amazon Redshift。
注:与数据管道任务目标端支持的数据库相同。
注:4.2.1.4 之前的版本只能同步到 Doris 的主键模型、Clickhouse 的 CollapsingMergeTree 中;4.2.1.4 及之后的版本支持带主键输出,能使用历史已经建好的表(明细模型或者mergeTree);同时针对 CDC 等数据源,可按照某一个业务字段当做主键,更新目标表的数据。详情参见:Doris数据源使用说明、StarRocks数据源使用说明、配置ClickHouse数据源
2. 功能说明
配置项 | 说明 |
---|---|
数据源 | 选择相应数据库的数据连接 |
模式 | 选择数据库 |
目标表 | 选择数据写入的数据库表
|
字段映射 |
|
写入方式 | 写入方式: 1)直接将数据写入目标表(仅支持这一种) 2)支持选择逻辑删除 3)支持标记时间戳(4.2.1.4 及之后的版本支持) 4)主键映射(4.2.1.4 及之后的版本支持) |
「标记时间戳」按钮开启时:
| |
主键映射说明: 1)可选择字段作为逻辑主键映射确定数据唯一性:
2)目标端为 Doris、StarRocks、clickhouse 时,特定场景中可以不配置主键映射,详情请参见:StarRocks数据源使用说明、Doris数据源使用说明、配置ClickHouse数据源 |