反馈已提交

网络繁忙

配置实时管道任务-数据来源&数据去向

  • 文档创建者:Wendy123456
  • 历史版本:17
  • 最近更新:Wendy123456 于 2025-10-29
  • icon提示:
    本文内容适用于 4.2.11.3 及之后版本;4.2.11.3 之前版本,请参见:历史文档

    1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.0.6支持 MySQL 作为读取数据源
    4.1.8.1管道任务支持多对一同步;「选择来源」步骤中可选择多张结构相同的源表生成一个分组表
    4.2.11.3
    配置实时管道任务的步骤全面更新,本文介绍如何添加来源端和目标端
    4.2.11.4

    实时管道&实时任务中,点击「数据源权限检测」按钮后:

    • 来源端为 Oracle 时,新增「活跃事务检测」检查项

    • 原来的「数据源版本支持」检查项改为「数据源版本检测」

    点击展开更多
    FineDataLink 版本
    功能变动
    4.0.7

    支持 SQL Server 作为读取数据

    支持 Oracle 作为读取数据源

    4.0.18支持 Oracle18c、19c、Oracle RAC 集群作为读取数据源
    4.0.20.1支持 0.10.2 到 3.4 的 Kafka 版本作为读取数据源
    4.0.27

    支持快速批量选择需要同步的数据表

    4.0.29
    • 支持在设置数据来源时,检测数据源是否有日志读取权限

    • 自动屏蔽 Oracle 数据源 BLOB、CLOB、NCLOB、LONG、RAW、LONGRAW、BFILE 字段同步

    4.0.30
    • MySQL、Oracle、SQL Server、PostgreSQL 支持仅增量同步

    • 当「选择来源」选择「仅增量同步」时,去向表默认选择「已存在表」,会自动执行一次同名匹配,且用户仍可以手动切换为「自动建表」

    4.1.4SAP HANA、DB2 支持作为读取端
    4.1.7.2来源表若包含 _fdl_update_timestamp、_fdl_marked_deleted 字段,实时同步时会屏蔽这些字段

    1.2 功能简介

    创建实时管道任务后,需要设置数据来源(来源端的数据连接)和数据去向(目标端的数据库)。如下图所示:

    6.png

    2. 前提条件

    1)用户需已做以下准备工作:

    步骤

    步骤一:数据源配置

    根据实际情况选择源端和目标端数据库,数据管道支持的数据库请参见:数据管道支持的数据源类型

    在数据连接管理中配置源端和目标端的数据连接,便于在管道任务配置过程中,通过选择数据源名称来控制同步任务的读取和写入数据库。详情请参见:配置数据连接

    步骤二:准备数据库环境

    基于需要设置数据管道任务的数据源,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述

    步骤三:管道任务环境准备

    部署 Kafka 开源流处理平台作为中间件。详情请参见:部署Kafka配置传输队列

    步骤四:分配管道任务权限

    若需要使用数据管道的用户不是超级管理员,则需要为对应用户分配数据管道的使用权限。详情请参见:管道任务管理权限

    2)点击「数据管道>实时管道」,新建实时管道任务。如下图所示:

    3.png

    3. 选择数据来源和数据去向

    6.png

    3.1 选择数据来源和数据去向

    1)管道任务支持的来源端请参见:数据管道支持的数据源类型

    注:4.1.7.2 及之后版本,来源表若包含 _fdl_update_timestamp、_fdl_marked_deleted 字段,实时同步时会屏蔽这些字段。

    2)点击「数据源权限检测」按钮,可以查看数据源是否有日志读取权限。如下图所示:

    • 一些数据源会有「实时数据源检查」设置项,代表检查数据连接中的用户有没有具备实时同步所需要的相关权限。

    • 4.2.11.4 及之后版本,原来的「数据源版本支持检查项改为数据源版本检测」;检测项新增「活跃事务检测」:

    当前所有活跃事务中最早开始时间早于日志最早时间时,检测结果提示「警告」,提示:当前存在活跃事务的开始时间早于归档日志的最早时间,可能导致同步失败,请手动处理活跃事务:[${事务 id 列表}]

    7.png

    3.2 读取方式

    根据来源端数据库不同而变化。

    4. 后续步骤

    高级设置说明请参见:配置实时管道任务-高级设置

    1761187069509443.png



    附件列表


    主题: 数据管道
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持