1. 概述
本文档收集数据管道模块的常见问题，并给出答案。
2. 数据管道模块咨询
| 常见问题 | 解决方案 |
|---|---|
1）帆软能否接收实时数据或者有什么方式接收 2）如果我要实现源端到目标端的数据实时同步，用数据管道不用数据开发？ | 使用数据管道功能 |
| 数据管道一般使用场景有哪些 | 数据管道的场景主要是在数据库数据量大或表结构规范的情况下，实现高性能的「实时数据同步」。简单来说是通过对源库日志的监听来达到实时的数据同步，如果数据同步实时性要求比较高的话可以考虑数据管道 注：数据管道不支持对数据进行计算处理 |
| 数据管道是怎么捕获变化数据的 | 通过数据库日志变更捕捉的 |
| 如果管道任务中断了，有什么补偿机制 | 详情请参见：配置管道任务-管道控制 若管道任务失败，支持断点续传：若全量同步未完成，会从头全量同步；若全量同步已完成，会从断点开始 |
| 同时运行的管道任务数 | 4.1.4.之前版本： 同时运行的管道任务数与 资源控制 中的「内存限制」值有关。「内存限制」值/1024向下取整，比如 2049/1024 就是可以运行两个管道任务 4.1.4 及之后版本： 在 并发控制 中修改 |
| 支持异构数据库写入吗，像 MySQL 实时同步 Oracle | 支持的 具体可参见：数据管道支持的数据源类型 |
| FDL 使用数据管道能同步视图吗 | 管道任务不支持同步视图和索引 |
| 实时同步中，源表结构发生变化后，能同步到目标表吗；比如增加字段之后，目标表还需要手动创建吗 | 部分数据库类型是支持源表结构变化同步的，详情请参见：数据管道-同步源表结构变化 |
3. 数据管道
3.1 支持的数据源
| 常见问题 | 解决方案 |
|---|---|
| 1）数据管道中为啥不能选择简道云 2）数据管道支持哪些数据源 3）能通过数据管道任务，实时读取 SAP 的数据吗 4）数据管道，能支持把数据插入到 clickhouse 嘛 5）实时同步支持的数据源 | 数据管道支持的数据源请参见：数据管道支持的数据源 |
3.2 数据库环境准备
| 常见问题 | 解决方案 |
|---|---|
| FDL 管道实时同步 MySQL 库，mysql binlog 的模式要求是什么，mysql有三种级别 Row、Statement、Mixed | row 请参见文档：MySQL环境准备 |
| kafka 只支持部署在 Linux 环境吗 | 是的 |
| 数据管道，源数据库oracle，必须开启归档日志吗 | 是的 |
1）我想请问管道任务-Kafka，这个中间件是需要我们自己额外配置吗 2）传输队列需要配置 kafka ，是需要新建一套 kafka 吗 3）kafka 安装要求 4）kafka 需不需要开放什么端口呢 | 是的，需要自己部署 kafka 请参见文档：部署Kafka |
1）我本地安装 FDL ，如果想用数据管道，是不是需要部署 kafka 2）Windows 部署的 Kafka 可以支撑数据管道吗 | 建议 kafka 部署在 Linux 上，kafka 官方是不推荐部署在 Windows 下的 |
1）kafka 安装好了端口不通 2）地址和认证类型怎么配置的 | 请参见文档：配置传输队列 |
| 将一个 SQLServer 的数据实时同步到另一个 SQLServer中，源端的数据库要改什么配置或者开启什么功能吗 | SQL Server环境准备 |
| kafka 逻辑说明 | 全量同步时，数据是不会同步到 kafka 中的，全量结束之后，从记录点开始读取增量数据写入 kafka |
3.3 管道任务配置
| 常见问题 | 解决方案 |
|---|---|
| 管道任务已经创建没有勾选开启 ddl ，可以再修改吗 | 不支持，只能重建任务 |
| 数据管道目标表比来源表多的字段字段映射没有显示 | 字段映射只显示来源表有的字段 |
| 有没有数据管道和数据开发里面的任务异常错误发邮件的设置 | 设置结果通知 |
| 脏数据阈值什么意思 | 设置脏数据阈值 |
| 管道任务失败重试逻辑说明 | 失败重试：
|
3.4 管道任务运维
| 常见问题 | 解决方案 |
|---|---|
| 待同步量，这个是什么意思，在数据管道的运行中 | 待同步就是就是没有写入数据库，正准备写的数据，可能正常写入，可能写入失败 |
| 第一遍同步数据管道, 没有时间戳 | 时间戳同步在数据完全同步后执行。若数据量较大，数据同步过程中时间戳可能暂时为空 |
| 删除管道任务 | 启动/直接编辑/删除任务 |
| 怎么看数据管道任务的状态呢 | 单个管道任务管理 |
| 管道任务启动后为何不能编辑 | 已经启动的任务目前是不能再修改配置了，需要重新建立个管道任务，再删除之前的管道任务 |
| 管道任务脏数据指什么 | 详情请参见：脏数据 与目标字段配置不匹配而无法写入的数据（目标字段长度/类型不匹配、目标字段缺失、违反目标字段非空约束等） 注：对于管道任务，主键冲突不会产生脏数据，主键相同的数据，新数据将覆盖旧数据 |
| 服务器重启后管道任务怎么运行 | 全量同步若未结束，重启后会重新进行全量同步 全量同步已经结束，并且进入增量状态的任务，重启后会接着断点继续增量 |
上一篇：管理系统FAQ
