"数据连接处理和加工-Lily" 分类下的文档该分类下有53篇文档创建该分类下的文档
多指标合并进行占比分析
文档创建者:Lily.Wang      创建时间:05-11 11:19      标签:      编辑:16次    |   浏览:12936次

摘要:1. 概述1.1 预期效果将不同的指标放在同一张饼图之上,展示它们之间的百分比。例如使用饼图展示不同指标之间「合同金额」和「回款金额」的百分比。将如下图所示:1.2 实现思路先新建分析主题,添加两个数据[阅读全文:]

多表合并/统计场景
文档创建者:susie      创建时间:07-02 17:36      标签:      编辑:9次    |   浏览:16799次

摘要:1. 概述1.1 预期效果当存在三张表时,经常无法直接合并三张表的字段,比如有设备信息、故障、停运三张表,如下图所示:如何合并这三张表,让其以单位汇总设备数量、停运以及故障信息呢?1.2 解决思路借助左[阅读全文:]

多条件赋值
文档创建者:Roxy      创建时间:10-19 15:49      标签:      编辑:11次    |   浏览:11367次

摘要:1. 概述1.1 预期效果有时用户需要实现同时为不同字段内容赋不同的值。学校人员类型字段中将12、21 赋值为教职工,1、2 赋值为学生,剩余的都为其他,如下图所示:1.2 实现思路方案一:使用&nbs[阅读全文:]

年月日日期格式转换为年月
文档创建者:April陶      创建时间:09-28 16:53      标签:      编辑:8次    |   浏览:15711次

摘要:1. 概述1.1 预期效果转化年月日的日期格式,转化成年月,效果如下表所示:日期格式转化后2020-02-022020022020/02/022020-02-02 00:00:001.2 实现思路1)在[阅读全文:]

数据开发概述
文档创建者:Wendy123456      创建时间:06-29 10:06      标签:      编辑:2次    |   浏览:3200次

摘要:1. 概述1.1 应用场景在数据分析和展示之前,经常要使用的数据散落在各个业务系统的数据库中,并且各系统的数据口径并不统一、数据质量参差不齐,必须要先进行漫长且头疼的数据处理。针对上述数据处理难题,Fi[阅读全文:]

数据同步至FineBI
文档创建者:Wendy123456      创建时间:06-30 15:42      标签:      编辑:2次    |   浏览:399次

摘要:1. 概述1.1 版本FineBI 版本功能变动6.0「数据同步」节点和「DB表输出」算子的「数据去向」界面新增「在FineBI公共数据中自动创建ETL结果表」按钮,勾选配置后,ETL 任务输出时可快速[阅读全文:]

第一个ETL任务的开发
文档创建者:唱跳rap全能选手      创建时间:06-22 22:04      标签:      编辑:7次    |   浏览:416次

摘要:1. 概述本文将设计一个简单的 ETL 任务,将一个数据库中的数据迁移到另外一个数据库中,并对迁移过去的数据进行筛选处理。希望您通过这个案例可以了解设计任务时的各种操作,掌握 ETL 任务开发的基本方法[阅读全文:]

运行日志介绍
文档创建者:唱跳rap全能选手      创建时间:06-23 20:40      标签:      编辑:4次    |   浏览:1077次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 功能简介ETL 任务运行后,将会产生运行日志。如下图所示:本文介绍在「日志」这个 Tab 页下,具体显示内容。2. 示例2.1 节点运行状[阅读全文:]

FineDataLink注册授权
文档创建者:唱跳rap全能选手      创建时间:06-25 10:27      标签:      编辑:2次    |   浏览:569次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 功能简介数据平台需要进行注册授权,注册需要使用的功能点。2. 功能点介绍功能点说明备注常规节点包含「数据同步」、「SQL脚本」、「参数赋值[阅读全文:]

ETL任务授权权限
文档创建者:唱跳rap全能选手      创建时间:06-25 10:25      标签:      编辑:2次    |   浏览:536次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景超级管理员可以给予某个对象「ETL任务」的授权权限,使该对象将成为一个次级管理员。次级管理员可以给下级成员分配「ETL任务」的管理[阅读全文:]

ETL任务管理权限
文档创建者:唱跳rap全能选手      创建时间:06-25 10:24      标签:      编辑:2次    |   浏览:515次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景本文将介绍管理员如何给用户分配「ETL任务」的管理权限,使得用户可以「查看和编辑」文件夹和 ETL 任务。2. 示例本章示例:给用[阅读全文:]

数据平台授权权限
文档创建者:唱跳rap全能选手      创建时间:06-25 10:05      标签:      编辑:2次    |   浏览:427次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景超级管理员可以给予某个对象数据平台的授权权限,使该对象将成为一个次级管理员。次级管理员可以给下级成员分配「数据平台」下模块的使用权[阅读全文:]

数据平台使用权限
文档创建者:唱跳rap全能选手      创建时间:06-25 10:03      标签:      编辑:2次    |   浏览:449次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景管理员可以对「数据平台」进行权限配置。将「数据平台」中的各个模块分配给下面的用户使用。2. 示例本章示例:给用户 eoco 分配「[阅读全文:]

任务的导入导出
文档创建者:唱跳rap全能选手      创建时间:06-25 10:01      标签:      编辑:2次    |   浏览:586次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景以下场景时:用户从平台 A 升级或迁移至平台 B 时,需要快速批量迁移平台 ETL 任务。用户希望能够快速复用官方 ETL 任务或[阅读全文:]

调度配置
文档创建者:唱跳rap全能选手      创建时间:06-25 09:58      标签:      编辑:2次    |   浏览:425次

摘要:1. 概述1.1 应用场景数据开发提供了定时调度功能,可以定期自动运行 ETL 任务,以保证数据能够及时更新。1.2 功能简介定时调度在任务里面设置,点击任务右上方的「调度配置」即可打开设置界面。可以设[阅读全文:]

任务运维
文档创建者:唱跳rap全能选手      创建时间:06-25 09:49      标签:      编辑:2次    |   浏览:447次

摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景通过任务运维,用户可以了解到整体任务的执行情况,也可以对数据平台的资源进行控制。1.3 功能简介任务运维有两个功能,分别是「基[阅读全文:]

Greenplum数据源介绍
文档创建者:唱跳rap全能选手      创建时间:06-25 09:20      标签:      编辑:2次    |   浏览:429次

摘要:1. 概述1.1 版本FineBI 版本功能变动6.0-1.2 应用场景用户在 ETL 任务中,需要将业务库数据抽取至 Greenplum 数据库进行分析,在相对小的时间窗口内完成大数据量的数据装载。1[阅读全文:]

不同数据源的功能支持说明
文档创建者:唱跳rap全能选手      创建时间:06-25 09:17      标签:      编辑:2次    |   浏览:443次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 功能简介由于适配的部分数据源,不支持 UPDATE 更新或者 DELETE 删除操作,所以在使用此类数据库时,数据开发的部分功能无法使用,[阅读全文:]

循环容器
文档创建者:唱跳rap全能选手      创建时间:06-23 22:28      标签:      编辑:2次    |   浏览:650次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户有以下需求时:使用「数据同步」节点 SQL 取数,数据量非常大的时候,想分段执行。用 API 数据源取数,API 数据源的参数[阅读全文:]

消息通知
文档创建者:唱跳rap全能选手      创建时间:06-23 22:26      标签:      编辑:2次    |   浏览:331次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户基于以下场景时:希望可以通过邮件/短信/企业微信应用推送/企业微信群机器人/钉钉应用推送/钉钉群机器人的形式将信息通知给指定用[阅读全文:]

条件分支
文档创建者:唱跳rap全能选手      创建时间:06-23 22:24      标签:      编辑:2次    |   浏览:278次

摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景「条件分支」节点的作用就是基于一个来自于上游或者系统的条件,判断是否继续运行下游节点或者运行下游节点里面的哪一个。1.3 功能[阅读全文:]

调用任务
文档创建者:唱跳rap全能选手      创建时间:06-23 22:23      标签:      编辑:2次    |   浏览:333次

摘要:1. 概述1.1 版本说明FineBI 版本功能变动6.0-1.2 应用场景用户希望可以在当前任务中调用其他任务,直接设置任务间执行的依赖关系,「调用任务」节点可满足该需求。1.3 功能简介「调用任务」[阅读全文:]

SQL脚本
文档创建者:唱跳rap全能选手      创建时间:06-23 22:13      标签:      编辑:2次    |   浏览:369次

摘要:1. 概述1.1 应用场景当用户需要对数据库中的数据进行处理时,例如创建、更新、删除、读取、关联、汇总这样的操作,此可以通过「SQL脚本」节点实现。1.2 功能简介节点设置起来比较简单,选择数据源类型和[阅读全文:]

内置参数
文档创建者:唱跳rap全能选手      创建时间:06-23 22:10      标签:      编辑:3次    |   浏览:414次

摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景插件提供了一些内置参数,这些参数无需定义即可直接调用。1.3 功能简介目前可以使用的内置参数如下:内置参数生效范围定义${cy[阅读全文:]

参数赋值节点
文档创建者:唱跳rap全能选手      创建时间:06-23 22:06      标签:      编辑:2次    |   浏览:494次

摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景用户希望上游节点运行的结果,能够被下游节点中的 SQL 语句使用。此时可以通过「参数赋值」节点用参数承载上游节点运行的结果,然[阅读全文:]

自定义参数
文档创建者:唱跳rap全能选手      创建时间:06-23 22:01      标签:      编辑:3次    |   浏览:393次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景在实际场景中,用户难免会需要应对一些变化,就需要去编写一些变量。只通过语句编写参数变量会比较复杂,而本章将介绍快捷高效的自定义参数[阅读全文:]

Spark SQL语法
文档创建者:唱跳rap全能选手      创建时间:06-23 21:59      标签:      编辑:2次    |   浏览:408次

摘要:1. 概述本文介绍常用的 Spark SQL 语法。注:Spark SQL 算子具体用法请参见:Spark SQL算子2. 原始数据表原始数表如下图所示:示例表下载:示例.xlsETL 任务设[阅读全文:]

Spark SQL算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:56      标签:      编辑:2次    |   浏览:545次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景面对文件数据源、RestAPI数据源等非关系型数据的加工处理,我们往往需要将对应数据抽取到数据库后,再利用sql进行加工处理,导致[阅读全文:]

字段设置算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:54      标签:      编辑:2次    |   浏览:298次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户想调整 API 获取的字段类型,比如获取的是时间戳,需要调整成日期格式参与后续计算或入库,此时可使用「字段设置」功能,在 Re[阅读全文:]

JSON解析算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:44      标签:      编辑:3次    |   浏览:551次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户处在以下场景时:公司做了一张表,记录员工的打卡数据,其中打卡数据是以 JSON 格式存储的,现在希望对 JSON 格式的数据进[阅读全文:]

行列转换算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:42      标签:      编辑:2次    |   浏览:335次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户处在以下场景时:某 DW 层表存在多个指标(如销售额、营业收入、营业成本、毛利),针对各产品,需要单独看各指标分析结果。&nb[阅读全文:]

比对删除算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:36      标签:      编辑:2次    |   浏览:417次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景同步数据时,如果想要把来源表中的删除操作同步到目标表中去,可以使用「数据转换」节点下的「比对删除」算子。1.3 功能简介「比对删除[阅读全文:]

数据关联算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:39      标签:      编辑:2次    |   浏览:660次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户两张数据表在不同的数据库中,希望能够将两张不同来源库的表进行关联生成新表。1.3 功能简介「数据关联」算子可实现多表跨库关联的[阅读全文:]

简道云输入算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:30      标签:      编辑:2次    |   浏览:770次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户处于以下场景时:简道云上数据量比较大,约五十万数据级别,需要做一些复杂计算分析,简道云数据工厂处理不了,需要下云处理。出于数据[阅读全文:]

数据转换节点
文档创建者:唱跳rap全能选手      创建时间:06-23 21:26      标签:      编辑:2次    |   浏览:1139次

摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景满足表输入和表输出之间需要做数据转换、处理的场景。如下图所示:1.3 功能简介「数据转换」提供输入、输出、转换等类型的节点,可[阅读全文:]

数据源类型为Excel
文档创建者:唱跳rap全能选手      创建时间:06-23 21:23      标签:      编辑:4次    |   浏览:592次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景ETL 作业时直接从 Excel 文件里面读取数据是比较常见的需求,「数据同步」节点的数据源类型支持服务器数据集。用户可以先在数据[阅读全文:]

数据源类型为RestAPI
文档创建者:唱跳rap全能选手      创建时间:06-23 21:09      标签:      编辑:3次    |   浏览:821次

摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景有些客户出于安全考虑,不允许直接访问数据库,而是以 API 的形式对外提供数据。当前数据平台插件已支持 RestAPI 接口数[阅读全文:]

连线执行判断
文档创建者:唱跳rap全能选手      创建时间:06-23 20:48      标签:      编辑:4次    |   浏览:561次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户希望 ETL 任务执行失败后,可以自定义错误处理流程。比如 ETL 任务执行失败后,在企业微信群中通知。1.3 功能简介如下图[阅读全文:]

ETL任务和节点添加备注
文档创建者:唱跳rap全能选手      创建时间:06-23 20:45      标签:      编辑:2次    |   浏览:560次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户在设计 ETL 任务时,需要为节点或任务添加备注,例如在任务中备注该任务的具体使用场景。1.3 功能简介「备注说明」节点和「节[阅读全文:]

虚拟节点
文档创建者:唱跳rap全能选手      创建时间:06-23 22:21      标签:      编辑:1次    |   浏览:481次

摘要:1. 概述1.1 应用场景如果希望多个节点可以并行运行后再转到下游节点,可借助「虚拟节点」实现。1.2 功能简介虚拟节点不需要设置,拖到设计界面跟其他节点连线即可。节点主要是用于辅助多分支到多分支场景的[阅读全文:]

JSONPath表达式
文档创建者:唱跳rap全能选手      创建时间:06-23 21:47      标签:      编辑:3次    |   浏览:361次

摘要:1. 概述JsonPath 表达式可用于解析 JSON 结构的数据,官方 API 文档:https://github.com/json-path/JsonPath,本文仅为对英文官方文档的翻译。2. 基[阅读全文:]

ETL任务开发界面介绍
文档创建者:唱跳rap全能选手      创建时间:06-22 23:13      标签:      编辑:1次    |   浏览:349次

摘要:1. 概述1.1 版本FineBI 版本功能变动6.0-1.2 应用场景本文将详细介绍数据开发界面各个模块的功能,并提供一些节点设计的基本操作方法。2. 节点列表节点是组成 ETL 任务的基本单位,多个[阅读全文:]

数据开发特有名词
文档创建者:唱跳rap全能选手      创建时间:06-22 23:00      标签:      编辑:2次    |   浏览:328次

摘要:1. 概述本文对数据开发的特有概念进行解释说明,以便用户进行使用。2. 功能模块名称数据平台:包含数据开发、指标平台等功能,满足用户对数据进行同步、处理、清洗等一系列的需求。名称定位功能说明数据开发数据[阅读全文:]

数据开发快捷键介绍
文档创建者:唱跳rap全能选手      创建时间:06-22 22:54      标签:      编辑:1次    |   浏览:320次

摘要:1. 版本FineBI 版本功能变更6.0-2. 功能介绍快捷键作用介绍ctrl+c复制复制节点/算子ctrl+v粘贴粘贴节点/算子delete删除删除节点/算子按住空格键+鼠标左键移动画布如下图所示:[阅读全文:]

数据开发支持的数据源
文档创建者:唱跳rap全能选手      创建时间:06-22 22:28      标签:      编辑:3次    |   浏览:370次

摘要:1. 版本FineBI 版本功能变动6.0-2. 支持的数据源类型数据开发支持的数据源类型如下表所示:数据源类型数据源类型支持的数据库版本驱动数据读取数据写入关系型数据库MySQL基础MySQ[阅读全文:]

多个关联字段多对多合并表
文档创建者:Roxy      创建时间:12-24 11:15      标签:      编辑:5次    |   浏览:10680次

摘要:1. 概述1.1 问题描述用户有两张数据表「学生表」和「课程表」,关联字段为「学生」和「课程」,且两张表的两个关联字段都不唯一,即一个学生对应多个课程,一个课程也对应多个学生,如下图所示:此时[阅读全文:]

5.1.2 及之后版本驱动隔离插件
文档创建者:Roxy      创建时间:12-23 17:09      标签:      编辑:27次    |   浏览:15921次

摘要:1. 概述注:仅适用于 5.1.18 及之前的版本,5.1.19 之后开始使用 驱动管理 管理插件,不会出现插件冲突情况。1.1 版本 FineBI 版本JAR 包版本新增功能5.1[阅读全文:]

筛除数据场景拓展
文档创建者:Lily.Wang      创建时间:11-30 18:12      标签:      编辑:1次    |   浏览:2598次

摘要:1. 概述在实际的分析中,我们经常需要过滤排除掉一部分数据。当需要剔除的数据需要使用多个字段作且条件进行筛选时,就无法直接使用 FineBI 自带的过滤功能。例如,要剔除「省份为湖南」且「类别为办公用品[阅读全文:]

数据表分类管理概述
文档创建者:doreen0813      创建时间:06-08 17:02      标签:      编辑:15次    |   浏览:50919次

摘要:1. 概述在线视频学习 请参见:数据表存放方式1.1 版本FineBI 版本功能变动5.1-5.1.15不同业务包下的数据表允许重名1.2 概述 FineBI 数据表的存放有两个概念:业务包:[阅读全文:]

数据准备快速入门
文档创建者:doreen0813      创建时间:08-15 20:59      标签:      编辑:49次    |   浏览:66020次

摘要:1. 概述1.1 版本FineBI版本JAR包版本5.1.52020-08-041.2 应用场景将数据库中要用到的数据表取送到 FineBI,并使用 FineBI 对数据库中的表进行一些基础设置:建立关[阅读全文:]

MySQL8.0数据连接插件
文档创建者:Lily.Wang      创建时间:11-19 18:02      标签:      编辑:5次    |   浏览:7880次

摘要:1. 概述1.1 版本FineBI 版本JAR 包5.1.82020-12-041.2 介绍MySQL 是一种开放源代码的关系型数据库管理系统(RDBMS),使用最常用的数据库管理语言——结构化查询语言[阅读全文:]

5.1.1 版本驱动隔离插件
文档创建者:doreen0813      创建时间:06-25 10:47      标签:      编辑:12次    |   浏览:10752次

摘要:1. 概述1.1 版本         FineBI版本            &[阅读全文:]

定时更新示例方案
文档创建者:Lily.Wang      创建时间:10-26 17:13      标签:      编辑:2次    |   浏览:3483次

摘要:1. 概述1.1 预期效果用户设置了全局定时更新,频次为一个月一次;设置业务包「零售行业」定时更新,频次为一个星期一次;设置表「销售明细」定时更新,频次为一天一次为了不重复更新数据(比如全局更新时将业务[阅读全文:]