实时管道应用场景与效果

1.1 应用场景

企业在构建数仓和中间库时，由于业务数据量级较大，如果使用 数据同步 批量定时同步数据很难做到高性能的增量同步，若使用清空目标表再写入数据的方式时，还会面临目标表一段时间不可用、抽取耗时长等问题。

因此希望能在数据库数据量大或表结构规范的情况下，实现高性能的实时数据同步。

1.2 效果查看

若源端数据发生增删改，目标端数据实时变化。如下图所示：

注：源表的增删改能实时同步到目标表中；若源表删除数据，可在管道任务中设置删除方式（物理删除、逻辑删除）来控制目标表的删除效果。

2.1 实时数仓

通过实时管道构建数据仓库 ODS 层，数据开发完成 DW、DM 层构建。

2.2 业务系统读写分离

业务系统的数据迁移备份后，业务系统新增数据依然写入业务数据库，同时数据实时同步至备份库，基于备份库进行后续加工处理与应用，实现数据读写分离，进而避免了数据分析工具对业务系统的影响。

2.3 跨域/跨业务实时同步

通过实时管道功能，日志监控的增量技术，提高数据增量更新效率，解决数据量大以及网络带宽限制带来的数据延迟，解放重复劳动人力，为企业决策提供更准确的数据依据。