历史版本2 :實時任務概述 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.1.11.4-

1.2 应用场景

企业在构建数仓时,需要对接实时数据源,比如 kafka,需要能够从 kafka 中读取数据实时同步到数仓中;

并且实时数仓构建过程中,需要将中间层的数据结果输出到 kafka,用来给下一层数据结果的计算。

这些数据大多都是半结构化 json 格式的数据,需要解析转换为结构化数据后入库;或者将结构化数据序列化成 json 格式后放入至 kafka。

1.3 功能简介

实时任务能够实时地把数据从 A 点投递到 B 点。在投递的过程中可能添加数据清洗和集成的工作,例如实时数仓中的数据解析等。最终结果可供后续业务使用,以提高数据利用率,满足业务需求。