历史版本3 :管理系统FAQ 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:


问题
解决方案
数据管道和数据开发什么区别

数据管道是实时同步，数据开发可实现定时同步

数据管道做实时处理数据且不能做复杂的数据处理，只能将数据迁移；数据开发只能做定时，可以在将数据存入的到目标端前做复杂的数据清晰

如果我要实现源端到目标端的数据实时同步，用数据管道不用数据开发？是的
怎么看数据管道任务的状态呢单个管道任务管理
我想通过数据管道实现 从源数据库读取实时变化数据，经过spark算子处理后，再导入目标数据库 应该如何配置？没找到添加spark处理的地方

数据管道只能做数据原样同步 要做数据处理的话得用数据开发

那这个建议直接搭建个数仓吧，数据管道实现ods-dw，然后用数据开发做dw-dm https://help.fanruan.com/finedatalink/doc-view-96.html

这个编辑为啥不能修改 管道任务如何删除已经启动的任务目前是不能再修改配置了，需要重新建立个管道
如何删除管道任务
我问下fdl使用数据管道能同步视图吗1.目前是不支持的2管道任务不支持同步视图和索引
脏数据有啥影响吗脏数据实际上数据库那边返回的信息比如 字段类型不匹配，长度过长这种，影响的话就是这些脏数据没有同步到目标库中。如果用目标库的数据做一些分析备份这种会出现少数据的情况
那数据管道一般使用场景有哪些数据管道的场景主要是在数据库数据量大或表结构规范的情况下，实现高性能的「实时数据同步」简单来说是通过对源库日志的监听来达到实时的数据同步如果数据同步实时性要求比较高的话可以考虑数据管道~






数据管道支持的数据源

问题
解决方案

数据管道中为啥不能选择简道云

数据管道支持哪些数据源

数据管道数据源不支持简道云，数据管道支持的数据源请参见：数据管道支持的数据源
能通过数据管道任务，实时读取SAP的数据吗暂不支持
数据管道，能支持把数据插入到clickhouse嘛 
管道任务里，来源不能支持greenplum吗
FineDataLink 这个工具支持Mysql到HANA的实时同步吗不支持
RAC模式的 oracle 数据库 目前FDL能支持实时同步了吗RAC模式的 oracle 数据库是支持数据管道的，可以进行实时同步
数据管道是否支持hana暂时不支持，提需求




数据库环境准备

问题
解决方案
FDL 管道实时同步mysql库，mysql binlog 的模式要求是什么 mysql有三种级别 Row、Statement、Mixed

row

详情请参见文档：MySQL环境准备

kafka只支持部署在LINUX环境是的

我想请问管道任务-Kafka，是要连接我们自己的kafka是吗

我们现在在测试数据管道功能，配置完数据库这些之后提示需要配置kafka,这个中间件是需要我们自己额外配置吗？

是的 需要自己部署
话说这个kafka配好了，他的服务地址是什么 https://help.fanruan.com/finedatalink/doc-view-83.html按照这个文档配置的话ip:9092
传输队列需要配置kafka，是需要新建一套kafka吗？对的，数据管道用到kafka的，需要自己部署kafka https://help.fanruan.com/finedatalink/doc-view-83.html?source=4
我本地安装FDL 如果想用kafuka通道，是不是需要部署对的，需要部署kafka的，但是建议kafka部署再linux上，kafka官方是不推荐部署在windows下的
fdl支持的kafka版本，需要容器化部署2.8.1
为什么管道任务CDC会涉及到delete语句？管道任务CDC在开启物理删除的情况下，会根据增量数据对目标表进行增删改。
kafka安装要求需要java环境和linux环境
kafka安装好了端口不通发送对应的文https://help.fanruan.com/finedatalink/doc-view-81.html

将一个sqlserver的数据实时同步到另一个sqlserver中，源端的数据库要改什么配置或者开启什么功能吗

数据库需要开启完整恢复模式吗？

需要开启cdchttps://help.fanruan.com/finedatalink/doc-view-99.html。不需要的




管道任务配置

问题
解决方案
管道任务已经创建没有勾选开启 ddl ，可以再修改吗不支持，只能重建任务
数据管道目标表比来源表多的字段字段映射没有显示字段映射只显示来源表有的字段
请问, 有没有数据管道和数据开发里面的任务异常错误发邮件的设置.