数据管道是FineTube中的重要模块，旨在提供稳定、高效的数据同步功能。

面对各行各业对数据的应用，数据处理会有很多的需求，其中包括能够快速配置大量数据表的原样同步任务、能够满足数据实时同步的时效性要求高的场景。

将数据源的大量的数据传递给Kafka进行收集，减少源数据库的压力，再将Kafka收集到的数据，发送给目标数据库。

关于Kafka：

在FineTube中，kafka作为专业消息列队处理系统，主要应用于收集数据。

相当于一个临时容器的作用。将传送过来的数据转换为二进制文件保存在服务器硬盘上，这样可以防止程序运行不当造成数据丢失的问题；此外，kafaka作为专业的消息列队处理系统，数据输入输出性能强大，更适合处理大数据量的流数据场景。

• 实时大屏：如某公司的10万辆新能源车状态监控和轨迹地图；某客服中心的电话接通情况监控大屏等；

• 准实时报表（典型的ELT架构）：如某公司的实时营销报表，FT实时同步数据至FD，且调用FD的算力算出结果表提供给FR展现；

• 云数据与本地数据进行融合：简道云数据与本地数据库（oracle）进行双向实时同步。联动简道云和FR，简道云处理流程，FR进行报表展现；

• 跨局域网数据融合：如某公司的mysql的跨城数据同步，drive系统中excel数据解析同步至crm等等；

• 数据仓库的ODS层数据同步：业务数据同步至oracle数据仓库，oracle业务库同步至hana数据仓库，多种数据源与FD数据仓库进行ODS层数据融合等等；

• 替代kettle进行ETL处理

• 与第三方即时通讯软件协同：微信即时消息（报表信息）推送；

• API编排（ESB）：各种企业微信机器人提醒交互和FineSupport应用，多种应用系统通过功能性API组合，形成新的业务功能场景；

由于数据管道是基于数据库日志进行的数据同步任务，所以数据库类型、版本的日志会有部分差别，目前所支持的版本如下所示：

关于源数据库：

关于目标数据库：