数据管道是FineTube中的重要模块,旨在提供稳定、高效的数据同步功能。
背景编辑
面对各行各业对数据的应用,数据处理会有很多的需求,其中包括能够快速配置大量数据表的原样同步任务、能够满足数据实时同步的时效性要求高的场景。
架构概述编辑
将数据源的大量的数据传递给Kafka进行收集,减少源数据库的压力,再将Kafka收集到的数据,发送给目标数据库。
关于Kafka:
在FineTube中,kafka作为专业消息列队处理系统,主要应用于收集数据。
相当于一个临时容器的作用。将传送过来的数据转换为二进制文件保存在服务器硬盘上,这样可以防止程序运行不当造成数据丢失的问题;此外,kafaka作为专业的消息列队处理系统,数据输入输出性能强大,更适合处理大数据量的流数据场景。
使用场景编辑
实时大屏:如某公司的10万辆新能源车状态监控和轨迹地图;某客服中心的电话接通情况监控大屏等;
准实时报表(典型的ELT架构):如某公司的实时营销报表,FT实时同步数据至FD,且调用FD的算力算出结果表提供给FR展现;
云数据与本地数据进行融合:简道云数据与本地数据库(oracle)进行双向实时同步。联动简道云和FR,简道云处理流程,FR进行报表展现;
跨局域网数据融合:如某公司的mysql的跨城数据同步,drive系统中excel数据解析同步至crm等等;
数据仓库的ODS层数据同步:业务数据同步至oracle数据仓库,oracle业务库同步至hana数据仓库,多种数据源与FD数据仓库进行ODS层数据融合等等;
替代kettle进行ETL处理
与第三方即时通讯软件协同:微信即时消息(报表信息)推送;
API编排(ESB):各种企业微信机器人提醒交互和FineSupport应用,多种应用系统通过功能性API组合,形成新的业务功能场景;
使用限制编辑
由于数据管道是基于数据库日志进行的数据同步任务,所以数据库类型、版本的日志会有部分差别,目前所支持的版本如下所示:
关于源数据库:
数据库类型 | 支持版本 | 备注 |
mysql | MYSQL |
|
MYSQL8 |
| |
sql server | SQL SERVER2008 |
|
SQL SERVER20XX |
| |
oralce | ORACLE |
|
关于目标数据库:
支持数据库 | 支持版本 | 备注 |
finedata | ||
greenplum | ||
sql server | SQL SERVER2008 | |
SQL SERVER20XX |