反馈已提交

网络繁忙

数据管道FAQ

  • 文档创建者:Wendy123456
  • 历史版本:13
  • 最近更新:Wendy123456 于 2024-04-25
  • 1. 概述

    本文档收集数据管道模块的常见问题,并给出答案。

    2. 数据管道模块咨询

    帆软能否接收实时数据或者有什么方式接收

    使用 数据管道 功能。

    数据管道一般使用场景有哪些

    数据管道的场景主要是在数据库数据量大或表结构规范的情况下,实现高性能的「实时数据同步」。简单来说是通过对源库日志的监听来达到实时的数据同步,如果数据同步实时性要求比较高的话可以考虑数据管道。

    注:数据管道不支持对数据进行计算处理

    数据管道是怎么捕获变化数据的

    通过数据库日志变更捕捉的。

    如果管道任务中断了,有什么补偿机制

    详情请参见:配置管道任务-管道控制

    若管道任务失败,支持断点续传:若全量同步未完成,会从头全量同步;若全量同步已完成,会从断点开始。

    同时运行的管道任务数

    详情请参见:资源控制内存

    支持异构数据库写入吗,像 MySQL 实时同步 Oracle

    支持的

    具体可参见:数据管道支持的数据源类型

    FDL 使用数据管道能同步视图吗

    管道任务不支持同步视图和索引。

    实时同步中,源表结构发生变化后,能同步到目标表吗

    部分数据库类型是支持源表结构变化同步的,详情请参见:数据管道-同步源表结构变化

    3. 支持的数据源

    数据管道支持的数据源请参见:数据管道支持的数据源

    4. 数据库环境准备

    请参见:数据库环境准备概述

    FDL 管道实时同步 MySQL 库,mysql binlog 的模式要求是什么,mysql有三种级别 Row、Statement、Mixed

    row

    请参见文档:MySQL环境准备

    数据管道,源数据库oracle,必须开启归档日志吗

    是的。

    我想请问管道任务-Kafka,这个中间件是需要我们自己额外配置吗

    是的,需要自己部署 kafka

    请参见文档:部署Kafka (该文档中可查看kafka 安装要求、需开放的端口等内容

    将一个 SQLServer 的数据实时同步到另一个 SQLServer中,源端的数据库要改什么配置或者开启什么功能吗

    SQL Server环境准备

    kafka相关

    kafka 安装好了端口不通

    请参见文档:配置传输队列

    kafka 只支持部署在 Linux 环境吗

    建议 kafka 部署在 Linux 上,kafka 官方是不推荐部署在 Windows 下的。

    kafka 逻辑说明

    全量同步时,数据是不会同步到 kafka 中的,全量结束之后,从记录点开始读取增量数据写入 kafka。

    5. 管道任务配置

    管道任务已经创建没有勾选开启 ddl ,可以再修改吗

    不支持,只能重建任务。

    数据管道目标表比来源表多的字段字段映射没有显示

    字段映射只显示来源表有的字段。

    有没有数据管道和数据开发里面的任务异常错误发邮件的设置

    设置结果通知

    脏数据阈值什么意思

    设置脏数据阈值

    管道任务失败重试逻辑说明

    失败重试

    • 若全量同步未完成,会从头全量同步;若全量同步已完成,会从断点开始;即全量阶段没有断点,只有增量阶段有断点同步。

    • 管道任务只要重新运行了,都是按第一次开始重新计算。

    6. 管道任务运维

    待同步量,这个是什么意思,在数据管道的运行中

    待同步就是就是没有写入数据库,正准备写的数据,可能正常写入,可能写入失败。

    第一遍同步数据管道, 没有时间戳

    时间戳同步在数据完全同步后执行。若数据量较大,数据同步过程中时间戳可能暂时为空。

    删除管道任务

    启动/直接编辑/删除任务

    怎么看数据管道任务的状态呢

    单个管道任务管理

    管道任务启动后为何不能编辑

    已经启动的任务目前是不能再修改配置了,需要重新建立个管道任务,再删除之前的管道任务。

    管道任务脏数据指什么

    详情请参见:脏数据

    与目标字段配置不匹配而无法写入的数据(目标字段长度/类型不匹配、目标字段缺失、违反目标字段非空约束等)。

    注:对于管道任务,主键冲突不会产生脏数据,主键相同的数据,新数据将覆盖旧数据。

    服务器重启后管道任务怎么运行

    全量同步若未结束,重启后会重新进行全量同步。

    全量同步已经结束,并且进入增量状态的任务,重启后会接着断点继续增量。




    附件列表


    主题: 快速入门
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持