DB表输出(实时任务)

  • 产品级协助
  • 文档创建者:Roxy
  • 历史版本:13
  • 最近更新:Wendy123456 于 2025-03-14
  • 注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.1.11.4-
    4.1.13.3数据开发-实时任务写入支持 Clickhouse
    4.2.1.4
    • 主键配置交互优

    • 支持新增流的无主键插入

    • 支持标记时间戳

    1.2 应用场景

    用户需要将数据实时输出至指定数据库中,便于使用数据进行报表和实时大屏制作和展示。

    1.3 功能简介

    FineDataLink 「实时任务」支持使用 DB表输出算子实时将数据输出至指定数据库中。

    1.4 支持使用的数据源

    MySQL、Oracle、PostgreSQL、SAP HANA、SQL Server、达梦、GreenPlum、Doris、StarRocks、GaussDB 200、Clickhouse、TiDB、Amazon Redshift。

    注:与数据管道任务目标端支持的数据库相同。

    注:4.2.1.4 之前的版本只能同步到 Doris 的主键模型、Clickhouse 的 CollapsingMergeTree 中;4.2.1.4 及之后的版本支持带主键输出,能使用历史已经建好的表(明细模型或者mergeTree);同时针对 CDC 等数据源,可按照某一个业务字段当做主键,更新目标表的数据。详情参见:Doris数据源使用说明StarRocks数据源使用说明配置ClickHouse数据源

    2. 功能说明

    配置项
    说明
    数据源

    选择相应数据库的数据连接

    模式选择数据库
    目标表

    选择数据写入的数据库表

    • 支持选择自动建表

    • 支持配置表描述

    • 支持手动建表

    字段映射

    与定时任务的DB表输出一致

    • 已存在表:直接根据该表的主键勾选「主键」列,并且用户不能再调整「主键」

    • 自动建表:按照目标表的特性配置建表时的主键

    写入方式

    写入方式:

    1)直接将数据写入目标表(仅支持这一种)

    2)支持选择逻辑删除

    3)支持标记时间戳(4.2.1.4 及之后的版本支持

    4)主键映射4.2.1.4 及之后的版本支持

    「标记时间戳」按钮开启时:

    • 在目标表追加/使用时间戳字段,记录数据实际写入到数据库的时间

    • 字段名为「_fdl_update_timestamp」,与数据管道保持一致

    主键映射说明:

    1)可选择字段作为逻辑主键映射确定数据唯一性:

    • 当目标表有物理主键时,直接使用配置好的物理主键进行映射,不支持自定义

    • 当目标表无物理主键时,从配置的字段映射中,选择一个或多个字段映射行作为逻辑主键映射

    2)目标端为 DorisStarRocksclickhouse 时,特定场景中可以不配置主键映射,详情请参见:StarRocks数据源使用说明Doris数据源使用说明配置ClickHouse数据源



    附件列表


    主题: 数据开发-实时任务
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    9s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持

    反馈已提交

    网络繁忙