"数据开发" 分类下的文档该分类下有41篇文档创建该分类下的文档
数据开发概述
文档创建者:Wendy123456      创建时间:06-29 10:06      标签:      编辑:2次    |   浏览:3236次

摘要:1. 概述1.1 应用场景在数据分析和展示之前,经常要使用的数据散落在各个业务系统的数据库中,并且各系统的数据口径并不统一、数据质量参差不齐,必须要先进行漫长且头疼的数据处理。针对上述数据处理难题,Fi[阅读全文:]

数据同步至FineBI
文档创建者:Wendy123456      创建时间:06-30 15:42      标签:      编辑:2次    |   浏览:405次

摘要:1. 概述1.1 版本FineBI 版本功能变动6.0「数据同步」节点和「DB表输出」算子的「数据去向」界面新增「在FineBI公共数据中自动创建ETL结果表」按钮,勾选配置后,ETL 任务输出时可快速[阅读全文:]

第一个ETL任务的开发
文档创建者:唱跳rap全能选手      创建时间:06-22 22:04      标签:      编辑:7次    |   浏览:420次

摘要:1. 概述本文将设计一个简单的 ETL 任务,将一个数据库中的数据迁移到另外一个数据库中,并对迁移过去的数据进行筛选处理。希望您通过这个案例可以了解设计任务时的各种操作,掌握 ETL 任务开发的基本方法[阅读全文:]

运行日志介绍
文档创建者:唱跳rap全能选手      创建时间:06-23 20:40      标签:      编辑:4次    |   浏览:1088次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 功能简介ETL 任务运行后,将会产生运行日志。如下图所示:本文介绍在「日志」这个 Tab 页下,具体显示内容。2. 示例2.1 节点运行状[阅读全文:]

FineDataLink注册授权
文档创建者:唱跳rap全能选手      创建时间:06-25 10:27      标签:      编辑:2次    |   浏览:573次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 功能简介数据平台需要进行注册授权,注册需要使用的功能点。2. 功能点介绍功能点说明备注常规节点包含「数据同步」、「SQL脚本」、「参数赋值[阅读全文:]

ETL任务授权权限
文档创建者:唱跳rap全能选手      创建时间:06-25 10:25      标签:      编辑:2次    |   浏览:543次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景超级管理员可以给予某个对象「ETL任务」的授权权限,使该对象将成为一个次级管理员。次级管理员可以给下级成员分配「ETL任务」的管理[阅读全文:]

ETL任务管理权限
文档创建者:唱跳rap全能选手      创建时间:06-25 10:24      标签:      编辑:2次    |   浏览:524次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景本文将介绍管理员如何给用户分配「ETL任务」的管理权限,使得用户可以「查看和编辑」文件夹和 ETL 任务。2. 示例本章示例:给用[阅读全文:]

数据平台授权权限
文档创建者:唱跳rap全能选手      创建时间:06-25 10:05      标签:      编辑:2次    |   浏览:430次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景超级管理员可以给予某个对象数据平台的授权权限,使该对象将成为一个次级管理员。次级管理员可以给下级成员分配「数据平台」下模块的使用权[阅读全文:]

数据平台使用权限
文档创建者:唱跳rap全能选手      创建时间:06-25 10:03      标签:      编辑:2次    |   浏览:456次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景管理员可以对「数据平台」进行权限配置。将「数据平台」中的各个模块分配给下面的用户使用。2. 示例本章示例:给用户 eoco 分配「[阅读全文:]

任务的导入导出
文档创建者:唱跳rap全能选手      创建时间:06-25 10:01      标签:      编辑:2次    |   浏览:594次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景以下场景时:用户从平台 A 升级或迁移至平台 B 时,需要快速批量迁移平台 ETL 任务。用户希望能够快速复用官方 ETL 任务或[阅读全文:]

调度配置
文档创建者:唱跳rap全能选手      创建时间:06-25 09:58      标签:      编辑:2次    |   浏览:433次

摘要:1. 概述1.1 应用场景数据开发提供了定时调度功能,可以定期自动运行 ETL 任务,以保证数据能够及时更新。1.2 功能简介定时调度在任务里面设置,点击任务右上方的「调度配置」即可打开设置界面。可以设[阅读全文:]

任务运维
文档创建者:唱跳rap全能选手      创建时间:06-25 09:49      标签:      编辑:2次    |   浏览:452次

摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景通过任务运维,用户可以了解到整体任务的执行情况,也可以对数据平台的资源进行控制。1.3 功能简介任务运维有两个功能,分别是「基[阅读全文:]

Greenplum数据源介绍
文档创建者:唱跳rap全能选手      创建时间:06-25 09:20      标签:      编辑:2次    |   浏览:436次

摘要:1. 概述1.1 版本FineBI 版本功能变动6.0-1.2 应用场景用户在 ETL 任务中,需要将业务库数据抽取至 Greenplum 数据库进行分析,在相对小的时间窗口内完成大数据量的数据装载。1[阅读全文:]

不同数据源的功能支持说明
文档创建者:唱跳rap全能选手      创建时间:06-25 09:17      标签:      编辑:2次    |   浏览:448次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 功能简介由于适配的部分数据源,不支持 UPDATE 更新或者 DELETE 删除操作,所以在使用此类数据库时,数据开发的部分功能无法使用,[阅读全文:]

循环容器
文档创建者:唱跳rap全能选手      创建时间:06-23 22:28      标签:      编辑:2次    |   浏览:661次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户有以下需求时:使用「数据同步」节点 SQL 取数,数据量非常大的时候,想分段执行。用 API 数据源取数,API 数据源的参数[阅读全文:]

消息通知
文档创建者:唱跳rap全能选手      创建时间:06-23 22:26      标签:      编辑:2次    |   浏览:334次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户基于以下场景时:希望可以通过邮件/短信/企业微信应用推送/企业微信群机器人/钉钉应用推送/钉钉群机器人的形式将信息通知给指定用[阅读全文:]

条件分支
文档创建者:唱跳rap全能选手      创建时间:06-23 22:24      标签:      编辑:2次    |   浏览:281次

摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景「条件分支」节点的作用就是基于一个来自于上游或者系统的条件,判断是否继续运行下游节点或者运行下游节点里面的哪一个。1.3 功能[阅读全文:]

调用任务
文档创建者:唱跳rap全能选手      创建时间:06-23 22:23      标签:      编辑:2次    |   浏览:338次

摘要:1. 概述1.1 版本说明FineBI 版本功能变动6.0-1.2 应用场景用户希望可以在当前任务中调用其他任务,直接设置任务间执行的依赖关系,「调用任务」节点可满足该需求。1.3 功能简介「调用任务」[阅读全文:]

SQL脚本
文档创建者:唱跳rap全能选手      创建时间:06-23 22:13      标签:      编辑:2次    |   浏览:381次

摘要:1. 概述1.1 应用场景当用户需要对数据库中的数据进行处理时,例如创建、更新、删除、读取、关联、汇总这样的操作,此可以通过「SQL脚本」节点实现。1.2 功能简介节点设置起来比较简单,选择数据源类型和[阅读全文:]

内置参数
文档创建者:唱跳rap全能选手      创建时间:06-23 22:10      标签:      编辑:3次    |   浏览:426次

摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景插件提供了一些内置参数,这些参数无需定义即可直接调用。1.3 功能简介目前可以使用的内置参数如下:内置参数生效范围定义${cy[阅读全文:]

参数赋值节点
文档创建者:唱跳rap全能选手      创建时间:06-23 22:06      标签:      编辑:2次    |   浏览:511次

摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景用户希望上游节点运行的结果,能够被下游节点中的 SQL 语句使用。此时可以通过「参数赋值」节点用参数承载上游节点运行的结果,然[阅读全文:]

自定义参数
文档创建者:唱跳rap全能选手      创建时间:06-23 22:01      标签:      编辑:3次    |   浏览:411次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景在实际场景中,用户难免会需要应对一些变化,就需要去编写一些变量。只通过语句编写参数变量会比较复杂,而本章将介绍快捷高效的自定义参数[阅读全文:]

Spark SQL语法
文档创建者:唱跳rap全能选手      创建时间:06-23 21:59      标签:      编辑:2次    |   浏览:414次

摘要:1. 概述本文介绍常用的 Spark SQL 语法。注:Spark SQL 算子具体用法请参见:Spark SQL算子2. 原始数据表原始数表如下图所示:示例表下载:示例.xlsETL 任务设[阅读全文:]

Spark SQL算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:56      标签:      编辑:2次    |   浏览:551次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景面对文件数据源、RestAPI数据源等非关系型数据的加工处理,我们往往需要将对应数据抽取到数据库后,再利用sql进行加工处理,导致[阅读全文:]

字段设置算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:54      标签:      编辑:2次    |   浏览:304次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户想调整 API 获取的字段类型,比如获取的是时间戳,需要调整成日期格式参与后续计算或入库,此时可使用「字段设置」功能,在 Re[阅读全文:]

JSON解析算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:44      标签:      编辑:3次    |   浏览:563次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户处在以下场景时:公司做了一张表,记录员工的打卡数据,其中打卡数据是以 JSON 格式存储的,现在希望对 JSON 格式的数据进[阅读全文:]

行列转换算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:42      标签:      编辑:2次    |   浏览:340次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户处在以下场景时:某 DW 层表存在多个指标(如销售额、营业收入、营业成本、毛利),针对各产品,需要单独看各指标分析结果。&nb[阅读全文:]

比对删除算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:36      标签:      编辑:2次    |   浏览:423次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景同步数据时,如果想要把来源表中的删除操作同步到目标表中去,可以使用「数据转换」节点下的「比对删除」算子。1.3 功能简介「比对删除[阅读全文:]

数据关联算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:39      标签:      编辑:2次    |   浏览:670次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户两张数据表在不同的数据库中,希望能够将两张不同来源库的表进行关联生成新表。1.3 功能简介「数据关联」算子可实现多表跨库关联的[阅读全文:]

简道云输入算子
文档创建者:唱跳rap全能选手      创建时间:06-23 21:30      标签:      编辑:2次    |   浏览:780次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户处于以下场景时:简道云上数据量比较大,约五十万数据级别,需要做一些复杂计算分析,简道云数据工厂处理不了,需要下云处理。出于数据[阅读全文:]

数据转换节点
文档创建者:唱跳rap全能选手      创建时间:06-23 21:26      标签:      编辑:2次    |   浏览:1145次

摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景满足表输入和表输出之间需要做数据转换、处理的场景。如下图所示:1.3 功能简介「数据转换」提供输入、输出、转换等类型的节点,可[阅读全文:]

数据源类型为Excel
文档创建者:唱跳rap全能选手      创建时间:06-23 21:23      标签:      编辑:4次    |   浏览:599次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景ETL 作业时直接从 Excel 文件里面读取数据是比较常见的需求,「数据同步」节点的数据源类型支持服务器数据集。用户可以先在数据[阅读全文:]

数据源类型为RestAPI
文档创建者:唱跳rap全能选手      创建时间:06-23 21:09      标签:      编辑:3次    |   浏览:835次

摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景有些客户出于安全考虑,不允许直接访问数据库,而是以 API 的形式对外提供数据。当前数据平台插件已支持 RestAPI 接口数[阅读全文:]

连线执行判断
文档创建者:唱跳rap全能选手      创建时间:06-23 20:48      标签:      编辑:4次    |   浏览:564次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户希望 ETL 任务执行失败后,可以自定义错误处理流程。比如 ETL 任务执行失败后,在企业微信群中通知。1.3 功能简介如下图[阅读全文:]

ETL任务和节点添加备注
文档创建者:唱跳rap全能选手      创建时间:06-23 20:45      标签:      编辑:2次    |   浏览:566次

摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户在设计 ETL 任务时,需要为节点或任务添加备注,例如在任务中备注该任务的具体使用场景。1.3 功能简介「备注说明」节点和「节[阅读全文:]

虚拟节点
文档创建者:唱跳rap全能选手      创建时间:06-23 22:21      标签:      编辑:1次    |   浏览:487次

摘要:1. 概述1.1 应用场景如果希望多个节点可以并行运行后再转到下游节点,可借助「虚拟节点」实现。1.2 功能简介虚拟节点不需要设置,拖到设计界面跟其他节点连线即可。节点主要是用于辅助多分支到多分支场景的[阅读全文:]

JSONPath表达式
文档创建者:唱跳rap全能选手      创建时间:06-23 21:47      标签:      编辑:3次    |   浏览:367次

摘要:1. 概述JsonPath 表达式可用于解析 JSON 结构的数据,官方 API 文档:https://github.com/json-path/JsonPath,本文仅为对英文官方文档的翻译。2. 基[阅读全文:]

ETL任务开发界面介绍
文档创建者:唱跳rap全能选手      创建时间:06-22 23:13      标签:      编辑:1次    |   浏览:354次

摘要:1. 概述1.1 版本FineBI 版本功能变动6.0-1.2 应用场景本文将详细介绍数据开发界面各个模块的功能,并提供一些节点设计的基本操作方法。2. 节点列表节点是组成 ETL 任务的基本单位,多个[阅读全文:]

数据开发特有名词
文档创建者:唱跳rap全能选手      创建时间:06-22 23:00      标签:      编辑:2次    |   浏览:332次

摘要:1. 概述本文对数据开发的特有概念进行解释说明,以便用户进行使用。2. 功能模块名称数据平台:包含数据开发、指标平台等功能,满足用户对数据进行同步、处理、清洗等一系列的需求。名称定位功能说明数据开发数据[阅读全文:]

数据开发快捷键介绍
文档创建者:唱跳rap全能选手      创建时间:06-22 22:54      标签:      编辑:1次    |   浏览:323次

摘要:1. 版本FineBI 版本功能变更6.0-2. 功能介绍快捷键作用介绍ctrl+c复制复制节点/算子ctrl+v粘贴粘贴节点/算子delete删除删除节点/算子按住空格键+鼠标左键移动画布如下图所示:[阅读全文:]

数据开发支持的数据源
文档创建者:唱跳rap全能选手      创建时间:06-22 22:28      标签:      编辑:3次    |   浏览:372次

摘要:1. 版本FineBI 版本功能变动6.0-2. 支持的数据源类型数据开发支持的数据源类型如下表所示:数据源类型数据源类型支持的数据库版本驱动数据读取数据写入关系型数据库MySQL基础MySQ[阅读全文:]