历史版本10 :数据管道FAQ 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
目录:
1. 概述编辑
本文档收集数据管道模块的常见问题，并给出答案。
2. 数据管道模块咨询编辑
| 常见问题 | 解决方案 |
|---|---|
1）帆软能否接收实时数据或者有什么方式接收 2）如果我要实现源端到目标端的数据实时同步，用数据管道不用数据开发？ | 使用数据管道功能 |
| 数据管道一般使用场景有哪些 | 数据管道的场景主要是在数据库数据量大或表结构规范的情况下，实现高性能的「实时数据同步」。简单来说是通过对源库日志的监听来达到实时的数据同步，如果数据同步实时性要求比较高的话可以考虑数据管道 注：数据管道不支持对数据进行计算处理 |
| 数据管道是怎么捕获变化数据的 | 通过数据库日志变更捕捉的 |
| 如果管道任务中断了，有什么补偿机制 | 详情请参见：配置管道任务-管道控制 若管道任务失败，支持断点续传：若全量同步未完成，会从头全量同步；若全量同步已完成，会从断点开始 |
| 同时运行的管道任务数 | 同时运行的管道任务数与 资源控制 中的「内存限制」值有关。「内存限制」值/1024向下取整，比如 2049/1024 就是可以运行两个管道任务 |
| 支持异构数据库写入吗，像 MySQL 实时同步 Oracle | 支持的 具体可参见：数据管道支持的数据源类型 |
| FDL 使用数据管道能同步视图吗 | 管道任务不支持同步视图和索引 |
3. 数据管道编辑
3.1 支持的数据源
| 常见问题 | 解决方案 |
|---|---|
| 1）数据管道中为啥不能选择简道云 2）数据管道支持哪些数据源 3）能通过数据管道任务，实时读取 SAP 的数据吗 4）数据管道，能支持把数据插入到 clickhouse 嘛 5）实时同步支持的数据源 | 数据管道支持的数据源请参见：数据管道支持的数据源 |
3.2 数据库环境准备
| 常见问题 | 解决方案 |
|---|---|
| FDL 管道实时同步 MySQL 库，mysql binlog 的模式要求是什么，mysql有三种级别 Row、Statement、Mixed | row 请参见文档：MySQL环境准备 |
| kafka 只支持部署在 Linux 环境吗 | 是的 |
1）我想请问管道任务-Kafka，这个中间件是需要我们自己额外配置吗 2）传输队列需要配置 kafka ，是需要新建一套 kafka 吗 3）kafka 安装要求 4）kafka 需不需要开放什么端口呢 | 是的，需要自己部署 kafka 请参见文档：部署Kafka |
1）我本地安装 FDL ，如果想用数据管道，是不是需要部署 kafka 2）Windows 部署的 Kafka 可以支撑数据管道吗 | 建议 kafka 部署在 Linux 上，kafka 官方是不推荐部署在 Windows 下的 |
1）kafka 安装好了端口不通 2）地址和认证类型怎么配置的 | 请参见文档：配置传输队列 |
| 将一个 SQLServer 的数据实时同步到另一个 SQLServer中，源端的数据库要改什么配置或者开启什么功能吗 | SQL Server环境准备 |
3.3 管道任务配置
| 常见问题 | 解决方案 |
|---|---|
| 管道任务已经创建没有勾选开启 ddl ，可以再修改吗 | 不支持，只能重建任务 |
| 数据管道目标表比来源表多的字段字段映射没有显示 | 字段映射只显示来源表有的字段 |
| 有没有数据管道和数据开发里面的任务异常错误发邮件的设置 | 设置结果通知 |
| 脏数据阈值什么意思 | 设置脏数据阈值 |
3.4 管道任务运维
| 常见问题 | 解决方案 |
|---|---|
| 待同步量，这个是什么意思，在数据管道的运行中 | 待同步就是就是没有写入数据库，正准备写的数据，可能正常写入，可能写入失败 |
| 第一遍同步数据管道, 没有时间戳 | 时间戳同步在数据完全同步后执行。若数据量较大，数据同步过程中时间戳可能暂时为空 |
| 删除管道任务 | 启动/直接编辑/删除任务 |
| 怎么看数据管道任务的状态呢 | 单个管道任务管理 |
| 管道任务启动后为何不能编辑 | 已经启动的任务目前是不能再修改配置了，需要重新建立个管道任务，再删除之前的管道任务 |