数据管道FAQ

1）帆软能否接收实时数据或者有什么方式接收

2）如果我要实现源端到目标端的数据实时同步，用数据管道不用数据开发？

3）如何将几十张表同步到另外一个数据库

4）我在数据库修改了记录会有修改日志的，数据同步没有办法根据这个日志来更新的是吧

5）数据同步，数据量比较大，需要增加、删除、修改，用什么方式比较快

数据管道的场景主要是在数据库数据量大或表结构规范的情况下，实现高性能的「实时数据同步」。简单来说是通过对源库日志的监听来达到实时的数据同步，如果数据同步实时性要求比较高的话可以考虑数据管道

注：数据管道不支持对数据进行计算处理

若管道任务失败，支持断点续传：若全量同步未完成，会从头全量同步；若全量同步已完成，会从断点开始

断点续传示例：

管道任务在03-21日读取了数据，03-23日停掉，03-27日启动，03-23到03-27日的数据会同步过去

4.1.4.之前版本：

同时运行的管道任务数与 资源控制 中的「内存限制」值有关。「内存限制」值/1024向下取整，比如 2049/1024 就是可以运行两个管道任务

4.1.4 及之后版本：

在 并发控制 中修改

支持的

具体可参见：数据管道支持的数据源类型

资源迁移 功能中，不支持导入、导出管道任务；若想导入导出管道任务，详情请参见：管道任务导入导出

2）数据管道支持哪些数据源

3）能通过数据管道任务，实时读取 SAP 的数据吗

4）数据管道，能支持把数据插入到 clickhouse 嘛 

5）实时同步支持的数据源

row

请参见文档：MySQL环境准备

1）我想请问管道任务-Kafka，这个中间件是需要我们自己额外配置吗

2）传输队列需要配置 Kafka ，是需要新建一套 Kafka 吗

3）Kafka 安装要求

4）Kafka 需不需要开放什么端口呢

5）传输队列未配置

是的，需要自己部署 Kafka

请参见文档：部署Kafka

1）我本地安装 FDL ，如果想用数据管道，是不是需要部署 Kafka

2）Windows 部署的 Kafka 可以支撑数据管道吗

1）Kafka 安装好了端口不通

2）地址和认证类型怎么配置的

1）有没有数据管道和数据开发里面的任务异常错误发邮件的设置

2）管道任务失败如何预警

失败重试：

• 若全量同步未完成，会从头全量同步；若全量同步已完成，会从断点开始；即全量阶段没有断点，只有增量阶段有断点同步

• 管道任务只要重新运行了，都是按第一次开始重新计算

详情请参见：脏数据

与目标字段配置不匹配而无法写入的数据（目标字段长度/类型不匹配、目标字段缺失、违反目标字段非空约束等）

注：对于管道任务，主键冲突不会产生脏数据，主键相同的数据，新数据将覆盖旧数据

全量同步已经结束，并且进入增量状态的任务，重启后会接着断点继续增量

管道逻辑如下：

1）新建管道任务、复制管道任务场景：目标表若选择已存在表，目标表结构（表名和字段名）和来源表一致：首次数据同步会清空目标数据表数据，然后全量同步数据，此后增量同步

2）处理脏数据 时（具体详情点击左侧链接）：重新同步：会将目标端表清空并重新执行全量同步、在全量同步结束后转入增量同步

会直接停止的

经修复后，源库可以重新连接，再次启动管道任务是否就可以，取决于管道任务停了多久、源库的类型：

• 如果源库是 MySQL 或者 Oracle，管道任务如果停的时间较长，导致日志被清，直接启动管道任务会报错

• 如果源库是 SQLServer，CDC 状态可能会有异常，直接启动也会报错