历史版本8 :数据管道FAQ 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

本文档收集数据管道模块的常见问题，并给出答案。

2. 数据管道模块咨询编辑

常见问题
解决方案

1）帆软能否接收实时数据或者有什么方式接收

2）如果我要实现源端到目标端的数据实时同步，用数据管道不用数据开发？

使用数据管道功能
数据管道一般使用场景有哪些数据管道的场景主要是在数据库数据量大或表结构规范的情况下，实现高性能的「实时数据同步」。简单来说是通过对源库日志的监听来达到实时的数据同步，如果数据同步实时性要求比较高的话可以考虑数据管道
数据管道是怎么捕获变化数据的通过数据库日志变更捕捉的
如果管道任务中断了，有什么补偿机制详情请参见：配置管道任务-管道控制

若管道任务失败，支持断点续传：若全量同步未完成，会从头全量同步；若全量同步已完成，会从断点开始

支持异构数据库写入吗，像 MySQL 实时同步 Oracle

支持的

具体可参见：数据管道支持的数据源类型

FDL 使用数据管道能同步视图吗

管道任务不支持同步视图和索引

管道任务启动后为何不能编辑
已经启动的任务目前是不能再修改配置了，需要重新建立个管道任务，再删除之前的管道任务

3. 数据管道编辑

3.1 支持的数据源

常见问题
解决方案
1）数据管道中为啥不能选择简道云

2）数据管道支持哪些数据源

3）能通过数据管道任务，实时读取 SAP 的数据吗

4）数据管道，能支持把数据插入到 clickhouse 嘛 

5）实时同步支持的数据源

数据管道支持的数据源请参见：数据管道支持的数据源

3.2 数据库环境准备

常见问题
解决方案
FDL 管道实时同步 MySQL 库，mysql binlog 的模式要求是什么，mysql有三种级别 Row、Statement、Mixed

row

请参见文档：MySQL环境准备

kafka 只支持部署在 Linux 环境吗是的

1）我想请问管道任务-Kafka，这个中间件是需要我们自己额外配置吗

2）传输队列需要配置 kafka ，是需要新建一套 kafka 吗

3）kafka 安装要求

4）kafka 需不需要开放什么端口呢

是的，需要自己部署 kafka

请参见文档：部署Kafka

1）我本地安装 FDL ，如果想用数据管道，是不是需要部署 kafka

2）Windows 部署的 Kafka 可以支撑数据管道吗

建议 kafka 部署在 Linux 上，kafka 官方是不推荐部署在 Windows 下的

1）kafka 安装好了端口不通

2）地址和认证类型怎么配置的

请参见文档：配置传输队列
将一个 SQLServer 的数据实时同步到另一个 SQLServer中，源端的数据库要改什么配置或者开启什么功能吗SQL Server环境准备

3.3 管道任务配置

常见问题
解决方案
管道任务已经创建没有勾选开启 ddl ，可以再修改吗不支持，只能重建任务
数据管道目标表比来源表多的字段字段映射没有显示字段映射只显示来源表有的字段
有没有数据管道和数据开发里面的任务异常错误发邮件的设置设置结果通知
脏数据阈值什么意思设置脏数据阈值

3.4 管道任务运维

常见问题
解决方案
待同步量，这个是什么意思，在数据管道的运行中待同步就是就是没有写入数据库，正准备写的数据，可能正常写入，可能写入失败
第一遍同步数据管道, 没有时间戳时间戳同步在数据完全同步后执行。若数据量较大，数据同步过程中时间戳可能暂时为空