| 问题 | 解决方案 |
|---|---|
数据管道和数据开发什么区别 数据管道和数据开发 有什么区别的 我看 都可以实现 数据的同步吧 | 数据管道是实时同步，数据开发可实现定时同步 数据管道做实时处理数据且不能做复杂的数据处理，只能将数据迁移；数据开发只能做定时，可以在将数据存入的到目标端前做复杂的数据清晰 数据管道是实时数据传输但是做不了复杂的计算，基本就是表的迁移；数据开发是定时任务，可以对数据进行复杂处理再入库 https://help.fanruan.com/finedatalink/doc-view-97.html---数据管道概述，https://help.fanruan.com/finedatalink/doc-view-5.html---数据开发概述 |
| 通过数据管道同步和新建etl任务这2个有啥不一样的啊 数据管道是通过日志进行同步？？etl是通过实时查询进行同步？？ | 可以这么理解，数据管道的话是走实时的，在全量同步完成后后续的增量同步时效性上能够做的比较好，使用场景有ODS层的落库、数据库备份这种，没有复杂的数据处理需求；ETL任务的话是定时任务，可以对源数据进行复杂处理后再落库 |
| 如果我要实现源端到目标端的数据实时同步，用数据管道不用数据开发？ | 是的 |
| 怎么看数据管道任务的状态呢 | 单个管道任务管理 |
| 我想通过数据管道实现 从源数据库读取实时变化数据，经过spark算子处理后，再导入目标数据库 应该如何配置？没找到添加spark处理的地方 | 数据管道只能做数据原样同步 要做数据处理的话得用数据开发 那这个建议直接搭建个数仓吧，数据管道实现ods-dw，然后用数据开发做dw-dm https://help.fanruan.com/finedatalink/doc-view-96.html |
| 这个编辑为啥不能修改 管道任务如何删除 | 已经启动的任务目前是不能再修改配置了，需要重新建立个管道 |
| 如何删除管道任务 | |
| 我问下fdl使用数据管道能同步视图吗 | 1.目前是不支持的2管道任务不支持同步视图和索引 |
| 脏数据有啥影响吗 | 脏数据实际上数据库那边返回的信息比如 字段类型不匹配，长度过长这种，影响的话就是这些脏数据没有同步到目标库中。如果用目标库的数据做一些分析备份这种会出现少数据的情况 |
| 那数据管道一般使用场景有哪些 | 数据管道的场景主要是在数据库数据量大或表结构规范的情况下，实现高性能的「实时数据同步」简单来说是通过对源库日志的监听来达到实时的数据同步如果数据同步实时性要求比较高的话可以考虑数据管道~ |
| 源数据表的数据被清除后能同步清除目标表吗 | 【数据同步】是定时执行的，做不到实时清除数据。目前sqlserver实时性数据同步 只支持数据管道任务，同时需要开启cdc，配置数据管道任务-https://help.fanruan.com/finedatalink/doc-view-80.html |
| 数据实时同步功能在哪里？ | 数据管道 |
| 话说平台可以运行任务的数量跟什么有关 | 管道任务数量和任务运维那里分配的内存有关，逻辑是内存/1024向下取整，比如2049/1024就是可以运行两个任务 |
那定时呢 如果我不是在一个任务中并行的处理多张表，而是分成多个任务，然后调度定时执行，会不会也有并发产生的资源和连接数的风险 | 定时任务的实际上没有运行数量的限制，但是有一个任务并发数的问题存在这个可以修改但是默认的和服务器有关 您好，我这边确认了一下，FDL 的 ETL 任务并发数默认是 CPU 线程数的 1/2 ，如果您机器的CPU线程数是8，那FDL每次最多并发运行4个ETL任务数。其它的节点会排队等待，是不会造成数据汇集库的资源锁的。您看这样可以解决您的问题吗？ |
| 如果任务突然断了 会有一个记录的 然后备用服务器直接从那个记录开始继续执行 | 目前FDL的数据管道如果FDL的服务器挂了，但是Kafka正常运行的话，也会有个断点，服务器启动后可以接着续传，但是定时任务没有，只能用比对字段或者清空目标表去恢复任务 |
| 数据管道会影响源数据库吗 | 性能报告查看，无影响 |
| 支持异构数据库写入吗，像mysql实时同步oracle | 这个是支持的，具体实时同步支持哪些数据源可以看下这篇文档~数据管道概述-https://help.fanruan.com/finedatalink/doc-view-97.html |
| 不能直接整库同步？只能一个表一个表的做 | 数据管道可以整库同步如果有Linux服务器的话可以在上面搭建Kafka，保证搭建Kafka的服务器和FDL的服务器能互通也可以用数据管道，但可能会受网络波动的影响 |
| 帆软能否接收实时数据(不过数据库的) 或者有什么方式接收 | 数据管道 |
数据管道支持的数据源
| 问题 | 解决方案 |
|---|---|
数据管道中为啥不能选择简道云 数据管道支持哪些数据源 | 数据管道数据源不支持简道云，数据管道支持的数据源请参见：数据管道支持的数据源 |
| 能通过数据管道任务，实时读取SAP的数据吗 | 暂不支持 |
| 数据管道，能支持把数据插入到clickhouse嘛 | |
| 管道任务里，来源不能支持greenplum吗 | |
| FineDataLink 这个工具支持Mysql到HANA的实时同步吗 | 不支持 |
| RAC模式的 oracle 数据库 目前FDL能支持实时同步了吗 | RAC模式的 oracle 数据库是支持数据管道的，可以进行实时同步 |
数据管道是否支持hana Sap hana。FDL不支持实时吗 | 暂时不支持，提需求 |
| 数据管道对数据库版本要啥要求啊，我这里mysql5.6,mysql5.7,sqlserver2008, sqlserver2012.oracle11g,oracle19c都有，都用默认的驱动都是没问题的是吧 | 截图客户支持的数据源 |
| 要怎么设置mysql | MySQL环境准备-https://help.fanruan.com/finedatalink/doc-view-100.html |
| 脏数据的判定标准是什么可以看到有哪些脏数据吗？ | 你可以看下fanruan.log，里面会有记录 |
| 数据抽取工具，实时数据抽取的原理，是通过监控数据源数据库的日志吗 | 是的，通过监听源数据库的日志实现实时同步 |
| 实时同步支持的数据源 | |
| 数据管道支持PostgreSQL实时同步到Oracle吗 | 支持的 |
数据库环境准备
| 问题 | 解决方案 |
|---|---|
| FDL 管道实时同步mysql库，mysql binlog 的模式要求是什么 mysql有三种级别 Row、Statement、Mixed | row 详情请参见文档：MySQL环境准备 |
| kafka只支持部署在LINUX环境 | 是的 |
我想请问管道任务-Kafka，是要连接我们自己的kafka是吗 我们现在在测试数据管道功能，配置完数据库这些之后提示需要配置kafka,这个中间件是需要我们自己额外配置吗？ | 是的 需要自己部署 |
| 话说这个kafka配好了，他的服务地址是什么 https://help.fanruan.com/finedatalink/doc-view-83.html按照这个文档配置的话 | ip:9092 |
| 传输队列需要配置kafka，是需要新建一套kafka吗？ | 对的，数据管道用到kafka的，需要自己部署kafka https://help.fanruan.com/finedatalink/doc-view-83.html?source=4 |
| 我本地安装FDL 如果想用kafuka通道，是不是需要部署 | 对的，需要部署kafka的，但是建议kafka部署再linux上，kafka官方是不推荐部署在windows下的 |
| fdl支持的kafka版本，需要容器化部署 | 2.8.1 |
| 为什么管道任务CDC会涉及到delete语句？ | 管道任务CDC在开启物理删除的情况下，会根据增量数据对目标表进行增删改。 |
| kafka安装要求 | 需要java环境和linux环境 |
| kafka安装好了端口不通 | 发送对应的文https://help.fanruan.com/finedatalink/doc-view-81.html |
将一个sqlserver的数据实时同步到另一个sqlserver中，源端的数据库要改什么配置或者开启什么功能吗 数据库需要开启完整恢复模式吗？ | 需要开启cdchttps://help.fanruan.com/finedatalink/doc-view-99.html。不需要的 |
sql server开启CDC对源库没啥影响的的吧 启cdc后是否会对来源数据库造成性能 | cdc就是生成操作日志，fdl读日志判断增删改查，应该有定时清理，也可以自己设置下，避免磁盘满了，影响使用 根据内部对于SQL server数据库开启CDC前后的性能对比来看，对源数据的影响是可以忽略不计的 |
| kafka需不需要开放什么端口呢 | 部署Kafka-https://help.fanruan.com/finedatalink/doc-view-83.html |
| 地址和认证类型怎么配置的 | 配置传输队列-https://help.fanruan.com/finedatalink/doc-view-81.html |
| Windows部署的Kafka可以支撑数据管道吗 | 不行，Kafka官方的推荐部署在Linux系统上；不保证Windows部署的Kafka对数据管道的使用会不会造成影响 |
管道任务配置
| 问题 | 解决方案 |
|---|---|
| 管道任务已经创建没有勾选开启 ddl ，可以再修改吗 | 不支持，只能重建任务 |
| 数据管道目标表比来源表多的字段字段映射没有显示 | 字段映射只显示来源表有的字段 |
| 请问, 有没有数据管道和数据开发里面的任务异常错误发邮件的设置. | |
| 这个是什么意思了脏数据阈值 | 配置数据管道任务-https://help.fanruan.com/finedatalink/doc-view-80.html |
管道任务运维
| 问题 | 解决方案 |
|---|---|
| 待同步量，这个是什么意思 在数据管道的运行中 | 待同步就是就是没有写入数据库，正准备写的数据，可能正常写入，可能写入失败 |