1. 概述编辑
本文档收集数据管道模块的常见问题,并给出答案。
2. 数据管道模块咨询编辑
帆软能否接收实时数据或者有什么方式接收
使用 数据管道 功能。
数据管道一般使用场景有哪些
数据管道的场景主要是在数据库数据量大或表结构规范的情况下,实现高性能的「实时数据同步」。简单来说是通过对源库日志的监听来达到实时的数据同步,如果数据同步实时性要求比较高的话可以考虑数据管道。
注:数据管道不支持对数据进行计算处理
数据管道是怎么捕获变化数据的
通过数据库日志变更捕捉的。
如果管道任务中断了,有什么补偿机制
详情请参见:配置管道任务-管道控制
若管道任务失败,支持断点续传:若全量同步未完成,会从头全量同步;若全量同步已完成,会从断点开始。
同时运行的管道任务数
详情请参见:资源控制内存
支持异构数据库写入吗,像 MySQL 实时同步 Oracle
支持的
具体可参见:数据管道支持的数据源类型
FDL 使用数据管道能同步视图吗
管道任务不支持同步视图和索引。
实时同步中,源表结构发生变化后,能同步到目标表吗
部分数据库类型是支持源表结构变化同步的,详情请参见:数据管道-同步源表结构变化
3. 支持的数据源编辑
数据管道支持的数据源请参见:数据管道支持的数据源
4. 数据库环境准备编辑
请参见:数据库环境准备概述
FDL 管道实时同步 MySQL 库,mysql binlog 的模式要求是什么,mysql有三种级别 Row、Statement、Mixed
row
请参见文档:MySQL环境准备
kafka 只支持部署在 Linux 环境吗
建议 kafka 部署在 Linux 上,kafka 官方是不推荐部署在 Windows 下的
数据管道,源数据库oracle,必须开启归档日志吗
是的。
我想请问管道任务-Kafka,这个中间件是需要我们自己额外配置吗
是的,需要自己部署 kafka
请参见文档:部署Kafka (该文档中可查看kafka 安装要求、需开放的端口等内容)
kafka 安装好了端口不通
请参见文档:配置传输队列
将一个 SQLServer 的数据实时同步到另一个 SQLServer中,源端的数据库要改什么配置或者开启什么功能吗
5. 管道任务配置编辑
管道任务已经创建没有勾选开启 ddl ,可以再修改吗
不支持,只能重建任务。
数据管道目标表比来源表多的字段字段映射没有显示
字段映射只显示来源表有的字段。
有没有数据管道和数据开发里面的任务异常错误发邮件的设置
脏数据阈值什么意思
管道任务失败重试逻辑说明
失败重试:
若全量同步未完成,会从头全量同步;若全量同步已完成,会从断点开始;即全量阶段没有断点,只有增量阶段有断点同步。
管道任务只要重新运行了,都是按第一次开始重新计算。
6. 管道任务运维编辑
待同步量,这个是什么意思,在数据管道的运行中
待同步就是就是没有写入数据库,正准备写的数据,可能正常写入,可能写入失败。
第一遍同步数据管道, 没有时间戳
时间戳同步在数据完全同步后执行。若数据量较大,数据同步过程中时间戳可能暂时为空。
删除管道任务
怎么看数据管道任务的状态呢
管道任务启动后为何不能编辑
已经启动的任务目前是不能再修改配置了,需要重新建立个管道任务,再删除之前的管道任务。
管道任务脏数据指什么
详情请参见:脏数据
与目标字段配置不匹配而无法写入的数据(目标字段长度/类型不匹配、目标字段缺失、违反目标字段非空约束等)。
注:对于管道任务,主键冲突不会产生脏数据,主键相同的数据,新数据将覆盖旧数据。
服务器重启后管道任务怎么运行
全量同步若未结束,重启后会重新进行全量同步。
全量同步已经结束,并且进入增量状态的任务,重启后会接着断点继续增量。

