历史版本3 :FineDataLink产品简介 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
在数据分析和展示之前，经常要使用的数据散落在各个业务系统的数据库中，并且各系统的数据口径并不统一、数据质量参差不齐，必须要先进行漫长且头疼的数据处理。
针对上述数据处理难题，我们新推出了「ETL作业」功能，从高效专业的数据处理角度出发，帮助企业处理出质量更高、更利于展示与分析的数据。
2. ETL作业可以解决的问题编辑
2.1 使用FineReport可能会面临的问题
| 问题 | 描述 | ETL作业的解决方案 |
|---|---|---|
| 无法跨数据库取数 | 报表数据来源多个数据库，虽然 FineReport 支持通过单元格过滤进行关联，但是影响报表展示速度，同时不支持分组汇总等功能 | 使用 ETL 作业时，可以将需要使用的多个数据源的数据预先处理好并存储至目标数据库，报表对接处理好的数据即可 |
| 复杂 SQL 导致报表开发成本高、取数慢 | 报表数据集内使用大量复杂 SQL 进行数据处理，SQL 开发和维护成本都很高，导致取数很慢，影响报表的展示速度 | 使用 ETL 作业时，可以将复杂的 SQL 处理逻辑下放至数据库内，报表数据集内只保留类似 select * from table 方式的 SQL 即可，逻辑清晰易懂，报表取数也会更加快速 |
| 报表数据集无法被引用或关联 | 报表内已有数据集无法被新数据集引用，无法和其他数据集关联 | 可以将多个报表数据集内 SQL 涉及的数据内容，使用 ETL 作业功能，将数据抽取至目标数据库，在目标数据库内进行数据关联，即可完成本场景 |
2.2 使用FineBI可能会面临的问题
| 问题 | 描述 | ETL作业的解决方案 |
|---|---|---|
| 数据层面问题导致业务人员无法快速上手 FineBI | 数据质量低，数据准确性差等数据层问题，可能会导致业务人员无法快速上手 FineBI | 使用 ETL 作业搭建数据中间库或数据仓库，将数据层问题在中间库或数仓内解决掉 |
| FineBI 搭建数仓时可能存在性能或功能问题 | 使用 FineBI 搭建数据仓库时，可能会发现自助数据集在数据处理方面需求满足度不高，spider 内数据不支撑输出至数据库； 因为自助数据集的定位是自助分析，所以数据处理相关功能会侧重易用性而不是灵活性 | 使用 ETL 作业搭建数仓，FineBI 对接处理好的数据即可 |
| 数据仓库的 ETL 工具无法调度 FineBI 数据更新 | 有数据仓库的 FineBI 客户可能希望数仓的数据更新后，再调度FineBI 数据更新，以保证数据准确性，但是目前二者是割裂的 | 后续 ETL 作业会支持 ETL 任务和 FineBI 数据更新的关系依赖 |
2.3 公司内可能面临的数据底层问题
| 问题 | 描述 | 搭建数据仓库/数据中间库 |
|---|---|---|
| 数据分散/数据孤岛 | 业务数据分散在各类信息系统中(包括线上、线下等)，数据表结构不统一，汇总分析困难 | 当公司内使用的业务系统逐渐增加，各业务系统的数据量级越来越大，前述问题开始逐渐出现，此时我们可以使用 ETL 作业功能搭建数据仓库/数据中间库； 数据仓库中核心的 3 部分是 ETL工具、数据库、数仓建模方法论，目前 ETL 作业功能可以承担 ETL工具的角色；数据库方面，可以选择关系数据库来存储数据；数仓建模方法论方面，目前我们仍然在沉淀中，有部分初期成果，若贵司对此部分感兴趣，可添加 ETL插件安装和界面介绍 页面中的工作人员获取 |
| 数据口径不统一 | 字段命名规范在公司内多个业务系统内存在多个口径，命名不规范和逻辑不统一的字段容易造成认知歧义 | |
| 业务系统数据不支持直接做决策分析 | 业务数据库存储结构不易于数据分析人员理解 | |
| 数据质量参差不齐 | 业务系统在进行数据录入时，由于业务人员误操作，造成了数据缺失、数据重复、数据不在合理区间内等数据质量问题 |
3. 客户画像编辑
3.1 目标客户画像
目标客户关键特征：数据展示和分析前，需要进一步处理数据。
数据建设不完善：未搭建专业规范的数据仓库，数据未达到可直接使用的状态
业务需求个性化：数仓建设主要满足通用的数据使用场景，个性化的业务场景未能满足
敏捷开发的需求：希望在做报表展示、数据分析之前或做的过程中，能够快速调整用到的数据
3.2 目标用户画像
职位定位：需要做数据处理的报表开发工程师，数据处理人员、数仓开发工程师、IT人员
核心事务：为数据使用准备数据，处理数据
4. 其他学习资料编辑
| 资料类型 | 内容 | 对应链接 |
|---|---|---|
| 视频课程 | ETL 作业功能场景介绍、基础操作教学 | ETL作业-功能场景及基础操作 |
| 场景案例 | 使用 ETL 作业完成的各类数据处理场景 | |
| ETL 作业 demo 系统 | 最新版本 ETL 作业的 demo 演示系统，其中包括功能示例、场景示例以及客户案例 | 数据平台demo系统 |
5. 更新日志编辑
| ETL版本 | 功能变动 |
|---|---|
| 1.6 | 现在文件夹永远显示在任务上方 详情 |
| 「数据同步」节点新增「自动建表」功能 详情 | |
| 「数据同步」节点下拉框支持模糊搜索 详情 | |
| 「数据同步」节点字段映射界面增加刷新按钮 详情 | |
| 1.7 | ETL 任务日志新增写入数据行数、更新数据行数 详情 |
| ETL 任务适配集群 详情 | |
| 「数据同步」节点字段映射界面可删除字段 详情 | |
| ETL 任务支持自定义参数功能：「参数设置」 详情 | |
新增一种节点类型：「参数赋值」 详情 | |
| 1.9 | 「数据同步」节点允许指定一个或多个字段作为比对字段，来更新目标表中的数据 详情 |
| 2.0 | 「参数设置」功能允许定义值相同的参数，但是会给出提醒 详情 |
「参数赋值」节点的文本型参数也支持多值 详情 | |
| 「参数赋值」节点新增参数预览功能 详情 | |
| 「参数赋值」节点新增参数值分隔符功能 详情 | |
| 「参数赋值」节点允许定义值相同的参数，但是会给出提醒 详情 | |
| ETL 作业新增一种节点类型：「条件分支」详情 | |
| 任务运维新增功能入口：「资源控制」详情 | |
| 2.1 | 「数据同步」节点字段映射时支持模糊匹配，可选择映射方式 详情 |
| ETL 作业支持 SQLite 数据源 详情 | |
| 3.1 | 新增节点「数据转换」，可实现数据跨库关联 详情 |
| ETL 任务日志新增「统计」页 详情 | |
| 3.2 | 新增节点「调用任务」，可以在当前任务中调用执行其他任务 详情 |
| 3.3 | 「数据转换」节点新增算子「比对删除」，可将来源表中删除数据的操作同步到目标表 详情 |
| 3.4 | 任务节点支持复制粘贴 详情 |
| 任务运行时现在支持强制终止任务 详情 | |
| 3.5 | 数据源类型支持 Impala 详情 |
| 「数据转换」节点新增算子「行列转换」，目前支持列转行功能，行转列功能敬请期待 详情 | |
| 平台「注册管理」的版本信息处，可查看数据平台的版本号 详情 | |
| 3.5.1 | 「数据转换」节点新增算子「JSON 解析」；支持将 JSON 结构的数据输出为行列格式 详情 |