最新历史版本 :DB表输出（实时任务） 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

注：数据开发中实时任务当前属于内测阶段，如需试用或者了解详细信息，请联系技术支持（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.1.11.4-
4.1.13.3数据开发-实时任务写入支持 Clickhouse
4.2.1.4

  • 主键配置交互优化

  • 支持新增流的无主键插入

  • 支持标记时间戳

1.2 应用场景

用户需要将数据实时输出至指定数据库中，便于使用数据进行报表和实时大屏制作和展示。

1.3 功能简介

FineDataLink 「实时任务」支持使用 DB表输出算子实时将数据输出至指定数据库中。

1.4 支持使用的数据源

MySQL、Oracle、PostgreSQL、SAP HANA、SQL Server、达梦、GreenPlum、Doris、StarRocks、GaussDB 200、Clickhouse、TiDB、Amazon Redshift。

注：与数据管道任务目标端支持的数据库相同。

注：4.2.1.4 之前的版本只能同步到 Doris 的主键模型、Clickhouse 的 CollapsingMergeTree 中；4.2.1.4 及之后的版本支持带主键输出，能使用历史已经建好的表（明细模型或者mergeTree）；同时针对 CDC 等数据源，可按照某一个业务字段当做主键，更新目标表的数据。详情参见：Doris数据源使用说明、StarRocks数据源使用说明、配置ClickHouse数据源

2. 功能说明编辑

配置项
说明
数据源

选择相应数据库的数据连接

模式选择数据库
目标表

选择数据写入的数据库表

  • 支持选择自动建表

  • 支持配置表描述

  • 支持手动建表

字段映射

与定时任务的DB表输出一致

  • 已存在表：直接根据该表的主键勾选「主键」列，并且用户不能再调整「主键」

  • 自动建表：按照目标表的特性配置建表时的主键

写入方式

写入方式：

1）直接将数据写入目标表（仅支持这一种）

2）支持选择逻辑删除

3）支持标记时间戳（4.2.1.4 及之后的版本支持）

4）主键映射（4.2.1.4 及之后的版本支持）

「标记时间戳」按钮开启时：

  • 在目标表追加/使用时间戳字段，记录数据实际写入到数据库的时间

  • 字段名为「_fdl_update_timestamp」，与数据管道保持一致

主键映射说明：

1）可选择字段作为逻辑主键映射确定数据唯一性：

  • 当目标表有物理主键时，直接使用配置好的物理主键进行映射，不支持自定义

  • 当目标表无物理主键时，从配置的字段映射中，选择一个或多个字段映射行作为逻辑主键映射

2）目标端为 Doris、StarRocks、clickhouse 时，特定场景中可以不配置主键映射，详情请参见：StarRocks数据源使用说明、Doris数据源使用说明、配置ClickHouse数据源