反馈已提交

网络繁忙

数据管道概述

  • 文档创建者:FineTube
  • 历史版本:10
  • 最近更新:FineTube 于 2022-07-20
  • 数据管道是FineTube中的重要模块,旨在提供稳定、高效的数据同步功能。


    1、背景

    面对各行各业对数据的应用,数据处理会有很多的需求,其中包括能够快速配置大量数据表的原样同步任务,能够满足数据实时同步的时效性要求高的场景。

    一句话概括:

    用户需要把某一个或多个 [数据源] 的数据迁移到一个或多个 [目标库],此时用户可通过创建 [数据管道] 在系统实现数据迁移的工作。

    2、架构概述

    将数据源的大量的数据传递给中间件(Kafka)进行收集,减少源数据库的压力,再将中间件收集到的数据,发送给目标数据库。

    3、典型场景

    • 全库数据增量/全量实时同步:需要实时全库同步mysql和oracle数据至FD数据仓库,三个数据源共一千多张表;

    4、使用限制

    由于数据管道是基于数据库日志进行的数据同步任务,所以数据库类型、版本的日志会有部分差别,目前所支持的版本如下所示:

    关于源数据库:


    数据库类型

    备注

    MySQL

    • MySQL 5.6及以上

    • 非只读数据库(当前只支持 InnoDB 引擎,集群架构只支持 MHA)

    • BINLOG 模式

    • 不支持同步视图

    • 集群仅支持连接主节点

    Oracle
    • Oracle 9i、10g、11g、12c

    • 提供 Oracle LogMiner

    • 不支持同步视图

    SQL Server

    • 企业版(Enterprise Edition)需要 2008 及以上版本,标准版(Standard)需要 2016SP1 及以上版本。

    • CDC 模式

    • SQL Server Agent 为运行状态

    具体配置等详情参考: 数据源支持范围



    关于目标数据库:

    数据库类型备注
    FineData
    • FineData 的要求是 1.6 及以上

    GreenPlum
    • GreenPlum 版本 5.0 及以上

    SQL Server
    • SQL Server 2000 及以上

    Oracle
    • Oracle 版本 9i 以上

    5、模块介绍

    5.1 任务列表

    数据管道支持 多个数据源、多个目标库的 原样实时同步功能,如下图所示,支持创建管道任务、启动和暂停任务、查看任务详情以及删除该任务。

    5.2 数据管道配置流程

    附件列表


    主题: 模块介绍
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览

    售前咨询电话

    400-811-8890转1

    在线技术支持

    热线电话:400-811-8890转2

    总裁办24H投诉

    热线电话:173-1278-1526

    文 档反 馈

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭