反馈已提交

网络繁忙

数据开发概述

  • Last update：  2022-07-04

    • 1. 概述

    1.1 应用场景

    在数据分析和展示之前，经常要使用的数据散落在各个业务系统的数据库中，并且各系统的数据口径并不统一、数据质量参差不齐，必须要先进行漫长且头疼的数据处理。

    针对上述数据处理难题，FineBI 新增「数据开发」功能，从高效专业的数据处理角度出发，帮助企业处理出质量更高、更利于展示与分析的数据。

    2.png

    1.2 使用数据开发可以解决的问题

    问题描述ETL作业的解决方案
    数据层面问题导致业务人员无法快速上手 FineBI数据质量低，数据准确性差等数据层问题，可能会导致业务人员无法快速上手 FineBI使用FineDataLink搭建数据中间库或数据仓库，将数据层问题在中间库或数仓内解决掉
    FineBI 搭建数仓时可能存在性能或功能问题

    使用 FineBI 搭建数据仓库时，可能会发现自助数据集在数据处理方面需求满足度不高，spider 内数据不支撑输出至数据库；

    因为自助数据集的定位是自助分析，所以数据处理相关功能会侧重易用性而不是灵活性

    		使用FineDataLink搭建数仓，FineBI 对接处理好的数据即可
    数据仓库的 ETL 工具无法调度 FineBI 数据更新有数据仓库的 FineBI 客户可能希望数仓的数据更新后，再调度FineBI 数据更新，以保证数据准确性，但是目前二者是割裂的后续FineDataLink会支持 ETL 任务和 FineBI 数据更新的关系依赖

    1.3 目标用户画像

    • 职位定位：需要做数据处理的报表开发工程师，数据处理人员、数仓开发工程师、IT人员

    • 核心事务：为数据使用准备数据，处理数据

    2. 索引

    分类功能/场景参考文档
    数据同步至 FineBIETL 任务输出时可快速同步数据到 FineBI数据同步至FineBI
    快速入门
    		若未注册功能点，使用会有所限制，建议注册相关功能点
    		FineDataLink注册授权
    数据开发支持的数据库介绍数据开发支持的数据源
    通过一个简单示例了解设计任务时的各种操作第一个ETL任务的开发
    任务设计
    		介绍数据开发界面各个模块的功能，并提供一些节点设计的基本操作方法ETL任务开发界面介绍
    从数据来源端抽取数据直接加载入数据目标端，利用数据库完成数据处理数据同步节点
    从数据来源端抽取数据，进行数据处理，再加载入数据目标端，完成数据处理数据转换节点

    用户希望上游节点运行的结果，能够被下游节点中的 SQL 语句使用

    此时可以通过「参数赋值」节点用参数承载上游节点运行的结果，然后在下游节点中使用该结果

    		参数赋值节点
    当用户需要对数据库中的数据进行处理时，例如创建、更新、删除、读取、关联、汇总这样的操作，此可以通过「SQL脚本」节点实现SQL脚本
    用户希望可以在当前任务中调用其他任务，直接设置任务间执行的依赖关系，「调用任务」节点可满足该需求调用任务
    「条件分支」节点的作用就是基于一个来自于上游或者系统的条件，判断是否继续运行下游节点或者运行下游节点里面的哪一个条件分支
    可将任务调度结果以邮件/短信/企业微信应用推送/企业微信群机器人/钉钉应用推送/钉钉群机器人的形式通知给指定用户消息通知
    任务运维通过任务运维，用户可以了解到整体任务的执行情况，也可以对数据平台的资源进行控制任务运维
    数据开发提供了定时调度功能，可以定期自动运行 ETL 任务，以保证数据能够及时更新调度配置
    权限控制
    		管理员可以对「数据平台」进行权限配置。将「数据平台」中的各个模块分配给下面的用户使用数据平台使用权限
    介绍给用户分配「ETL任务」的管理权限，使得用户可以「查看和编辑」文件夹和 ETL 任务ETL任务管理权限
    其他

    支持 ETL 任务导出导入

    		任务的导入导出
    用户希望 ETL 任务执行失败后，可以自定义错误处理流程。比如 ETL 任务执行失败后，在企业微信群中通知连线执行判断




    Attachment List


    Theme： 数据开发
    前の記事
    次の記事
    • いいね
    • 良くない
    • 閲覧しただけ
    中文（简体） 中文（繁體） English
    日本語

    フィードバック

    鼠标选中内容，快速反馈问题

    鼠标选中存在疑惑的内容，即可快速反馈问题，我们将会跟进处理。

    不再提示

    10s后关闭