历史版本2 :實時任務概述 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
目录:
1. 概述编辑
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.1.11.4 | - |
1.2 应用场景
企业在构建数仓时,需要对接实时数据源,比如 kafka,需要能够从 kafka 中读取数据实时同步到数仓中;
并且实时数仓构建过程中,需要将中间层的数据结果输出到 kafka,用来给下一层数据结果的计算。
这些数据大多都是半结构化 json 格式的数据,需要解析转换为结构化数据后入库;或者将结构化数据序列化成 json 格式后放入至 kafka。
1.3 功能简介
实时任务能够实时地把数据从 A 点投递到 B 点。在投递的过程中可能添加数据清洗和集成的工作,例如实时数仓中的数据解析等。最终结果可供后续业务使用,以提高数据利用率,满足业务需求。