摘要:1. 概述1.1 應用場景只有「抽取屬性」的資料集需要更新,「直連屬性」資料集不需要更新。1.2 功能簡介更新範圍支援單表更新、資料夾更新、全域性更新;更新時間支援立即更新或設定定時更新任務;2. 更新[阅读全文:]
摘要:1. 概念1.1 版本FineBI 版本功能變動6.0-1.2 應用場景在進行大數據量資料更新時,往往需要在固定時間按計劃重複進行資料更新,以便能夠顯示最新的資料庫資料。在更新後,普通使用者需要知道自己[阅读全文:]
摘要:1、描述問題現象:資料表設定為實時資料,資料庫完成更新之後,相關的sql資料集在資料預覽介面不顯示更新後的資料,但是在sql編輯的預覽介面顯示更新後的資料。在儀表板介面也存在更新資料庫後資料顯示不一致的[阅读全文:]
摘要:1. 概述1.1 功能簡介FineBI v6.0 整合 FineDataLink 資料開發模組,具備ELT、ETL雙核資料開發引擎,靈活滿足不同資料處理場景,IT人員可使用該功能將處理好的高質量資料同步[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能變動6.0-1.2 功能簡介FineBI 的直連與抽取資料集對於 null 值的處理方式不同。抽取資料:空和 null 值統一處理為 null。直連資料:空值[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能變動6.0-1.2 應用場景直連屬性的資料集是由 FineBI 直接向資料庫請求資料,所以不需要將資料抽取到 FineBI 中,不需要進行更新。1.3 使用直[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本調整功能6.0-6.0.2直連資料和抽取資料部分計算邏輯統一,詳情參見本文第 3 節1.2 應用場景本文將為使用者介紹「直連資料」和「抽取資料」是什麼,以及它們之[阅读全文:]
摘要:1. 概述當資料表較多且表間聯動關係設定較多且複雜時,可能會存在從一張表到另一張表之間多路徑的情況。比如如下圖所示:從 A 表聯動到 C 表,有兩條路徑。可以透過 A 表與 C 表直接聯動;也可以 A[阅读全文:]
摘要:1. 概述1.1 背景資料庫中某張表的近四天的資料重新校正過了,需要更改到 FineBI 中。該表資料量很大,全量更新的時間很長,如何只更換近四天的資料呢? 1.2 解決思路使用「[阅读全文:]
摘要:1. 概述本文將介紹使用者在關聯過程中常見的問題。新增關聯的按鈕灰化報錯關聯欄位重複不允許來自不同資料庫的兩張直連屬性的表建立關聯 2. 「新增關聯」按鈕灰化2.1 問題現象當滑鼠[阅读全文:]
摘要:1. 概述1.1 背景資料庫中有一張表,每天都會新增當天資料。這張表資料量很大,如果每天更新整張表的話,需要更新很長時間。1.2 解決思路使用「增量更新」,只將每天新增的資料更新到 FineBI 中。這[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能變動6.0-1.2 應用場景對公共資料中的基礎表設定單張表的更新任務。若使用者發現某張表需要更新時,使用單表更新相比全局更新和資料夾更新更省時間。 [阅读全文:]
摘要:1. 概述1.1 版本 FineBI 版本功能變動5.1.17-1.2 應用場景若在白天有很多的更新任務,就會佔用 FineBI 的計算資源,最終導致使用儀表板分析時速度變慢。 &n[阅读全文:]
摘要:1. 概述本文將介紹如何切換屬性建立「直連資料」或「抽取資料」。直連資料: 直連資料庫請求資料,不需要將資料抽取到 FineBI 磁碟中,所以也無需進行資料更新;抽取資料: FineBI 將使用者資料庫[阅读全文:]
摘要:1. 概述1.1 應用場景在資料表管理中介紹了 新增表間關聯 的方法,但有時使用者需要查看和管理業務包中所有表的關聯關係,從全局角度瞭解某張表與哪些表有關聯關係,方便進行資料分析處理。&nbs[阅读全文:]
摘要:1. 概述在「公共資料」空間內擁有資料夾管理權限的使用者,可以在資料夾下面新增資料表。這些資料表可以被其他有使用權限的使用者直接引用。 2. 資料表型別「公共資料」內可以有四種資料集:資料庫表[阅读全文:]
摘要:1. 概述1.1 應用場景「公共資料」顧名思義,就是使用者可以公共使用的資料存放的地方。可以將複用度很高的表,新增或發佈到公共資料集中。 1.2 功能介紹公共資料下,可以新增:Ex[阅读全文:]
摘要:1. 概述FineBI 支援 新增 EXCEL 資料集 ,使用者可上傳 csv、xls、xlsx 三種格式的 Excel 資料,在匯入時 BI 會自動判斷欄位型別。本文說明[阅读全文:]
摘要:1. 概述1.1 版本 FineBI 版本功能變動6.0-1.2 應用場景FineBI 直連屬性的表,預設每隔 600 秒清除一次快取重新發 SQL 給資料庫獲取最新資料,所以是 600 秒重[阅读全文:]
摘要:1. ORA 報錯1.1 報錯現象資料集預覽失敗,報錯以 ORA 開頭,例如 ORA-0911。 1.2 原因分析 這部分報錯為 Oracle 資料庫[阅读全文:]
摘要:1. 概述本文介紹在 新增 SQL 資料集 中如何命名參數和如何定義參數。 參數具體使用可參見:實時資料中SQL參數使用、過濾組件的參數用法2. 參數命名2.1[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 功能简介ETL 任务运行后,将会产生运行日志。如下图所示:本文介绍在「日志」这个 Tab 页下,具体显示内容。2. 示例2.1 节点运行状[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景超级管理员可以给予某个对象「ETL任务」的授权权限,使该对象将成为一个次级管理员。次级管理员可以给下级成员分配「ETL任务」的管理[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景本文将介绍管理员如何给用户分配「ETL任务」的管理权限,使得用户可以「查看和编辑」文件夹和 ETL 任务。2. 示例本章示例:给用[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景超级管理员可以给予某个对象数据平台的授权权限,使该对象将成为一个次级管理员。次级管理员可以给下级成员分配「数据平台」下模块的使用权[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景管理员可以对「数据平台」进行权限配置。将「数据平台」中的各个模块分配给下面的用户使用。2. 示例本章示例:给用户 eoco 分配「[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景以下场景时:用户从平台 A 升级或迁移至平台 B 时,需要快速批量迁移平台 ETL 任务。用户希望能够快速复用官方 ETL 任务或[阅读全文:]
摘要:1. 概述1.1 应用场景数据开发提供了定时调度功能,可以定期自动运行 ETL 任务,以保证数据能够及时更新。1.2 功能简介定时调度在任务里面设置,点击任务右上方的「调度配置」即可打开设置界面。可以设[阅读全文:]
摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景通过任务运维,用户可以了解到整体任务的执行情况,也可以对数据平台的资源进行控制。1.3 功能简介任务运维有两个功能,分别是「基[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变动6.0-1.2 应用场景用户在 ETL 任务中,需要将业务库数据抽取至 Greenplum 数据库进行分析,在相对小的时间窗口内完成大数据量的数据装载。1[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 功能简介由于适配的部分数据源,不支持 UPDATE 更新或者 DELETE 删除操作,所以在使用此类数据库时,数据开发的部分功能无法使用,[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户有以下需求时:使用「数据同步」节点 SQL 取数,数据量非常大的时候,想分段执行。用 API 数据源取数,API 数据源的参数[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户基于以下场景时:希望可以通过邮件/短信/企业微信应用推送/企业微信群机器人/钉钉应用推送/钉钉群机器人的形式将信息通知给指定用[阅读全文:]
摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景「条件分支」节点的作用就是基于一个来自于上游或者系统的条件,判断是否继续运行下游节点或者运行下游节点里面的哪一个。1.3 功能[阅读全文:]
摘要:1. 概述1.1 版本说明FineBI 版本功能变动6.0-1.2 应用场景用户希望可以在当前任务中调用其他任务,直接设置任务间执行的依赖关系,「调用任务」节点可满足该需求。1.3 功能简介「调用任务」[阅读全文:]
摘要:1. 概述1.1 应用场景当用户需要对数据库中的数据进行处理时,例如创建、更新、删除、读取、关联、汇总这样的操作,此可以通过「SQL脚本」节点实现。1.2 功能简介节点设置起来比较简单,选择数据源类型和[阅读全文:]
摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景插件提供了一些内置参数,这些参数无需定义即可直接调用。1.3 功能简介目前可以使用的内置参数如下:内置参数生效范围定义${cy[阅读全文:]
摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景用户希望上游节点运行的结果,能够被下游节点中的 SQL 语句使用。此时可以通过「参数赋值」节点用参数承载上游节点运行的结果,然[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景在实际场景中,用户难免会需要应对一些变化,就需要去编写一些变量。只通过语句编写参数变量会比较复杂,而本章将介绍快捷高效的自定义参数[阅读全文:]
摘要:1. 概述本文介绍常用的 Spark SQL 语法。注:Spark SQL 算子具体用法请参见:Spark SQL算子2. 原始数据表原始数表如下图所示:示例表下载:示例.xlsETL 任务设[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景面对文件数据源、RestAPI数据源等非关系型数据的加工处理,我们往往需要将对应数据抽取到数据库后,再利用sql进行加工处理,导致[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户想调整 API 获取的字段类型,比如获取的是时间戳,需要调整成日期格式参与后续计算或入库,此时可使用「字段设置」功能,在 Re[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户处在以下场景时:公司做了一张表,记录员工的打卡数据,其中打卡数据是以 JSON 格式存储的,现在希望对 JSON 格式的数据进[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户处在以下场景时:某 DW 层表存在多个指标(如销售额、营业收入、营业成本、毛利),针对各产品,需要单独看各指标分析结果。&nb[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景同步数据时,如果想要把来源表中的删除操作同步到目标表中去,可以使用「数据转换」节点下的「比对删除」算子。1.3 功能简介「比对删除[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户两张数据表在不同的数据库中,希望能够将两张不同来源库的表进行关联生成新表。1.3 功能简介「数据关联」算子可实现多表跨库关联的[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景用户处于以下场景时:简道云上数据量比较大,约五十万数据级别,需要做一些复杂计算分析,简道云数据工厂处理不了,需要下云处理。出于数据[阅读全文:]
摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景满足表输入和表输出之间需要做数据转换、处理的场景。如下图所示:1.3 功能简介「数据转换」提供输入、输出、转换等类型的节点,可[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变更6.0-1.2 应用场景ETL 作业时直接从 Excel 文件里面读取数据是比较常见的需求,「数据同步」节点的数据源类型支持服务器数据集。用户可以先在数据[阅读全文:]
摘要:1. 概述1.1 版本说明FineBI 版本功能变更6.0-1.2 应用场景有些客户出于安全考虑,不允许直接访问数据库,而是以 API 的形式对外提供数据。当前数据平台插件已支持 RestAPI 接口数[阅读全文:]
摘要:1. 概述1.1 应用场景如果希望多个节点可以并行运行后再转到下游节点,可借助「虚拟节点」实现。1.2 功能简介虚拟节点不需要设置,拖到设计界面跟其他节点连线即可。节点主要是用于辅助多分支到多分支场景的[阅读全文:]
摘要:1. 概述JsonPath 表达式可用于解析 JSON 结构的数据,官方 API 文档:https://github.com/json-path/JsonPath,本文仅为对英文官方文档的翻译。2. 基[阅读全文:]
摘要:1. 概述1.1 版本FineBI 版本功能变动6.0-1.2 应用场景本文将详细介绍数据开发界面各个模块的功能,并提供一些节点设计的基本操作方法。2. 节点列表节点是组成 ETL 任务的基本单位,多个[阅读全文:]