数据管道FAQ

  • Last update: September 18, 2023
  • 1. 概述

    本文档收集数据管道模块的常见问题,并给出答案。

    2. 数据管道模块咨询

    常见问题
    解决方案

    1)帆软能否接收实时数据或者有什么方式接收

    2)如果我要实现源端到目标端的数据实时同步,用数据管道不用数据开发?

    使用数据管道功能
    数据管道一般使用场景有哪些

    数据管道的场景主要是在数据库数据量大或表结构规范的情况下,实现高性能的「实时数据同步」。简单来说是通过对源库日志的监听来达到实时的数据同步,如果数据同步实时性要求比较高的话可以考虑数据管道

    注:数据管道不支持对数据进行计算处理

    数据管道是怎么捕获变化数据的通过数据库日志变更捕捉的
    如果管道任务中断了,有什么补偿机制详情请参见:配置管道任务-管道控制

    若管道任务失败,支持断点续传:若全量同步未完成,会从头全量同步;若全量同步已完成,会从断点开始

    同时运行的管道任务数同时运行的管道任务数与 资源控制 中的「内存限制」值有关。「内存限制」值/1024向下取整,比如 2049/1024 就是可以运行两个管道任务
    支持异构数据库写入吗,像 MySQL 实时同步 Oracle

    支持的

    具体可参见:数据管道支持的数据源类型

    FDL 使用数据管道能同步视图吗管道任务不支持同步视图和索引

    3. 数据管道

    3.1 支持的数据源

    常见问题
    解决方案
    1)数据管道中为啥不能选择简道云

    2)数据管道支持哪些数据源

    3)能通过数据管道任务,实时读取 SAP 的数据吗

    4)数据管道,能支持把数据插入到 clickhouse 嘛 

    5)实时同步支持的数据源

    数据管道支持的数据源请参见:数据管道支持的数据源

    3.2 数据库环境准备

    常见问题
    解决方案
    FDL 管道实时同步 MySQL 库,mysql binlog 的模式要求是什么,mysql有三种级别 Row、Statement、Mixed

    row

    请参见文档:MySQL环境准备

    kafka 只支持部署在 Linux 环境吗是的

    1)我想请问管道任务-Kafka,这个中间件是需要我们自己额外配置吗

    2)传输队列需要配置 kafka ,是需要新建一套 kafka 吗

    3)kafka 安装要求

    4)kafka 需不需要开放什么端口呢

    是的,需要自己部署 kafka

    请参见文档:部署Kafka

    1)我本地安装 FDL ,如果想用数据管道,是不是需要部署 kafka

    2)Windows 部署的 Kafka 可以支撑数据管道吗

    建议 kafka 部署在 Linux 上,kafka 官方是不推荐部署在 Windows 下的

    1)kafka 安装好了端口不通

    2)地址和认证类型怎么配置的

    请参见文档:配置传输队列
    将一个 SQLServer 的数据实时同步到另一个 SQLServer中,源端的数据库要改什么配置或者开启什么功能吗SQL Server环境准备

    3.3 管道任务配置

    常见问题
    解决方案
    管道任务已经创建没有勾选开启 ddl ,可以再修改吗不支持,只能重建任务
    数据管道目标表比来源表多的字段字段映射没有显示字段映射只显示来源表有的字段
    有没有数据管道和数据开发里面的任务异常错误发邮件的设置设置结果通知
    脏数据阈值什么意思设置脏数据阈值

    3.4 管道任务运维

    常见问题
    解决方案
    待同步量,这个是什么意思,在数据管道的运行中待同步就是就是没有写入数据库,正准备写的数据,可能正常写入,可能写入失败
    第一遍同步数据管道, 没有时间戳时间戳同步在数据完全同步后执行。若数据量较大,数据同步过程中时间戳可能暂时为空
    删除管道任务启动/直接编辑/删除任务
    怎么看数据管道任务的状态呢单个管道任务管理
    管道任务启动后为何不能编辑已经启动的任务目前是不能再修改配置了,需要重新建立个管道任务,再删除之前的管道任务




    附件列表


    主题: 快速入门
    Previous
    Next
    • Helpful
    • Not helpful
    • Only read

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    Get
    Help
    Online Support
    Professional technical support is provided to quickly help you solve problems.
    Online support is available from 9:00-12:00 and 13:30-17:30 on weekdays.
    Page Feedback
    You can provide suggestions and feedback for the current web page.
    Pre-Sales Consultation
    Business Consultation
    Business: international@fanruan.com
    Support: support@fanruan.com
    Page Feedback
    *Problem Type
    Cannot be empty
    Problem Description
    0/1000
    Cannot be empty

    Submitted successfully

    Network busy