反馈已提交

网络繁忙

ETL作业介绍

  • 文档创建者:Lily.Wang
  • 编辑次数:13次
  • 最近更新:Leo.Tsai 于 2021-10-20
  • 1. 概述

    在要进行数据分析和展示前,用户常常发现要使用的数据散落在各个业务系统的数据库,并且各系统的数据口径并不统一、数据质量参差不齐,必须要先进行漫长且头疼的数据处理?

    别慌!针对数据处理的难题,这次 FineReport11.0 中我们新推出了【ETL作业】功能,从高效专业的数据处理角度出发,帮助企业处理出质量更高、更利于展示与分析的数据。

    2. ETL作业可以解决的需求场景

    2.1 使用FineReport时可能会面临的问题

    场景提炼
    具体场景ETL作业提供的解决方案
    无法跨数据库取数报表数据来源多个数据库,虽然FineReport支持通过单元格过滤进行关联,但是影响报表展示速度,同时不支持分组汇总等功能。使用ETL作业时,可以将需要使用的多种数据源的数据预先处理好并存储至目标数据库,报表对接处理好的数据即可。
    复杂sql导致报表开发成本高、取数慢报表数据集内使用大量复杂sql进行数据处理,sql开发和维护成本都很高,导致sql取数很慢,影响报表展示速度。使用ETL作业时,可以将复杂的sql处理逻辑下放至数据库内,报表数据集内只保留类似select *  from table方式的sql即可,sql逻辑清晰易懂,报表取数也会更加快速。
    报表数据集无法被引用或关联报表内已有数据集无法被新数据集引用,无法和其他数据集关联。可以将多个报表数据集内sql涉及的数据内容,使用ETL作业功能,将数据抽取至目标数据库,在目标数据库内进行数据关联,即可完成本场景。

    2.2 使用FineReport时可能会面临的问题

    场景提炼
    具体场景ETL作业提供的解决方案
    数据层面问题导致业务人员无法快速上手FineBI
    数据质量低,数据准确性差等数据层问题有可能会导致业务人员无法快速上手FineBI使用ETL作业打击那数据中间库或数据仓库,将数据层问题再中间库/数仓内解决掉。
    FineBI搭建数仓时可能存在性能或功能问题

    使用FineBI搭建数据仓库时,可能会发现自助数据集再数据处理方面需求满足度不高,spider内数据不支撑输出至数据库;

    因为自助数据集的定位是自助分析,所以数据处理相关功能会侧重易用性而不是灵活性。

    使用ETL作业搭建数仓,FineBI对接处理好的数据即可。
    数据仓库的ETL工具无法调度FineBI数据更新有数仓的FineBI客户可能希望数仓的数据更新后,再调度FineBI的数据更新,以保证数据准确性,但是目前二者是割裂的。后续ETL作业会支持ETL任务和FineBI数据更新的关系依赖。

    2.3 公司内可能面临的数据底层相关问题

    场景提炼
    具体场景

    搭建数据仓库/数据中间库

    数据分散/数据孤岛业务数据分散在各类信息系统中(包括线上、线下等),数据表结构不统一,汇总分析困难。
    • 当公司内使用的业务系统逐渐增加,各业务系统的数据量级越来越大,前述问题开始逐渐出现,此时我们可以使用ETL作业功能搭建数据仓库/数据中间库;

    • 数据仓库中核心的3部分是ETL工具、数据库、数仓建模方法论,目前ETL作业功能可以承担ETL工具的角色;数据库方面,我们可以选择关系数据库来存储数据;数仓建模方法论方面,目前我们仍然在沉淀中,有部分初期成果,若贵司对此部分感兴趣,可添加ETL作业使用前的准备工作页面中工作人员进行获取。

    数据口径不统一字段命名规范在公司内多个业务系统内存在多个口径,命名不规范和逻辑不统一的字段容易造成认知歧义。
    业务系统数据不支持直接做决策分析业务数据库存储结构不易于数据分析人员理解。
    数据质量参差不齐业务系统在进行数据录入时,由于业务人员误操作,造成了数据缺失、数据重复、数据不在合理区间内等数据质量问题。

    3. 客户画像

    3.1 目标客户画像

    目标客户关键特征:数据展示和分析前,需要进一步处理数据。

    • 数据建设不完善:数仓未建设或者建设的不够完善,数据未达到可直接使用的状态;

    • 业务需求个性化:数仓建设主要满足通用的数据使用场景,个性化的业务场景未能满足;

    • 敏捷开发的需求:希望在做报表展示、数据分析之前或做的过程中,能够快速调整用到的数据。

    3.2 目标用户画像

    • 职位定位:需要做数据处理的报表开发工程师,数据处理人员、数仓开发工程师、IT人员

    • 核心事务:为数据使用准备数据,处理数据

    附件列表


    主题: 数据准备
    • 有帮助
    • 没帮助
    • 只是浏览

    售前咨询电话

    400-811-8890转1

    在线技术支持

    在线QQ:800049425

    热线电话:400-811-8890转2

    总裁办24H投诉

    热线电话:173-1278-1526

    文 档反 馈

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭