摘要:1. 概述1.1 背景某集团人员长期使用 FineBI 进行数据分析,FineBI的使用流程为:IT人员在FineBI中直接连接数据库数据,通过自助数据集对原始数据进行数据清洗和处理,形成业务人员可用的[阅读全文:]
摘要:1. 概述1.1 应用场景某贸易公司,交易员每天使用 FineReport 填报模板,将新产生的订单或历史订单的修改数据录入到「补录表」中。「补录表」需要将最新数据同步到数据库表中;数据分析工具使用数据[阅读全文:]
摘要:1. 概述1.1 背景数据仓库的调度配置是实际业务中必不可少的一环。通过调度配置,可以实现数据的更新同步,从而让数据持续地应用在业务中。例如,某销售公司当前情况如下:当前有两个部门的数据:「销售」和「财[阅读全文:]
摘要:1. 什么是 APIAPI(Application Programming Interface)是一种允许不同软件组件之间相互通信、交换信息的工具,他提供了一种统一的、规范化的途径,开发者只需遵循这些建[阅读全文:]
摘要:本文介绍 FDL 中包含的 API 相关功能及使用说明。FDL 中 API 相关功能如下:读取 API 接口数据将数据写入到 API 接口中发布一个 API,供外部系统调用1. 功能点注册「必[阅读全文:]
摘要:1. 概述1)用户在搭建数仓时希望关联 Excel、csv 等文件数据进行业务分析;2)希望将加工后的数据以文件形式分享使用、以文件形式进行数据归档;3)文件数据流传输归档:将简道云/API接口中的附件[阅读全文:]
摘要:1. 概述数据同步包括定时同步、实时同步两个功能模块。选择使用哪个功能模块,需考虑要进行的数据同步是定时还是实时、增量还是全量等,不同模块的支持情况不同,此外还需要重点关注:数据的来源与去向、待同步的表[阅读全文:]
摘要:1. 概述1.1 背景某公司大量使用简道云表单进行业务填报,每天产生大量数据。为了与其他系统数据联合使用,这些数据需要定期同步至指定数据库中。根据简道云录入表单数据的增删改情况,有以下几种情况:表单数据[阅读全文:]
摘要:概述本文对帮助文档中 FineDataLink 的实际应用文档进行筛选、整理、归类、排版,形成了内容合辑,文章按难易程度、内容模块整理分类为不同的篇章,点击标题即可进入相应文章。持续更新中……业务场景案[阅读全文:]
摘要:1. 概述在现实的业务中,有很多数据需要通过 API 接口调用使用。因此本文为用户介绍在 FineDataLink 中使用 API 取数并进行数据解析处理,最终将数据写入指定数据库的方案。注:若需要使用[阅读全文:]
摘要:1. 概念调度平台是管理和自动化 ETL 的任务执行工具,通过指定任务依赖关系和执行顺序实现任务的自动执行,一般需要代码开发,使用数仓需要有调度软件,来确保 ETL过程顺利执行。FineDataLink[阅读全文:]
摘要:1. 概述在使用 FineDataLink 「数据开发」搭建数仓或者进行数据处理时,经常需要进行数据的清洗、处理、计算等,FineDataLink 提供了多种可视化算子,用户无需编写复杂的 SQL 语句[阅读全文:]
摘要:1. 系统部署1.1 数据库配置打开「管理系统>数据连接>数据连接管理」,新建两个数据连接:源数据的连接,连接名必须为”NC数据连接“数据抽取出来后要存放的数据库连接(目标库),连接名必须为[阅读全文:]
摘要:1. 概述1.1 应用场景数仓拉链表 文档中提供的方案,使用「参数赋值」节点将来源表中的 ID 字段输出为参数,但「参数赋值」节点要求输出的参数不能超过 10000 个,若来源表数据超过 10000 条[阅读全文:]
摘要:1. 概述1.1 应用场景某公司的 FineReport/FineBI 工程每月都会通过 定时调度任务 给销售发送月报数据。月报发送前,需要使用 FDL 处理月报数据。若分别设置 F[阅读全文:]
摘要:1. 概述用户在定时任务进行数据同步时,如果源数据库同时有增删改变化,可以使用数据比对,但是如果数据量很大,想要提高同步效率,就可以使用本文的方案进行数据同步。2. 时间戳和业务时间说明时间戳:一般是记[阅读全文:]
摘要:1. 概述1.1 应用场景用户在定时任务进行数据同步时,如果源数据库同时有增删改变化,且没有时间戳,可以直接使用数据比对,但是如果数据量很大,想要提高同步效率,就可以使用本文的方案进行数据同步。1.2[阅读全文:]
摘要:1. 概述1.1 问题描述用户在定时任务进行数据同步时,如果源数据库同时有增删改变化,且来源表中没有时间戳时,可以使用数据比对,但是如果数据量很大,想要更好的提高同步效率,就可以使用本文的方案进行数据同[阅读全文:]
摘要:1. 概述1.1 问题描述用户在定时任务进行数据同步时,如果源数据库同时有增删改变化,且来源表有时间戳时,可以使用数据比对,但是如果数据量很大,想要更好的提高同步效率,就可以使用本文的方案进行数据同步。[阅读全文:]
摘要:1. SAP复用背景1.1 复用目标通过提炼 SAP 中可标准化复用的数据处理过程,来提高企业项目上线效率。1.2 通用问题企业做 ETL 处理时候,很多是标准化的内容,但都要重复做一遍,影响项目上线效[阅读全文:]
摘要:1. 概述1.1 解决的问题SAP 报表本身不方便钻取到最明细的凭证数据;且对于数据的再处理没有FDL方便,能够快速生成想要的维度、指标;一些线下规则不好融入到SAP报表中,比如费用的重分类、[阅读全文:]
摘要:1. 概述1.1 应用场景在实际业务场景中,做数据增量更新的时候,有时候会碰到以下情况:当表数据很大时,每次更新只有很小一部分数据,如果只保留一张全量表,则无法查询历史某个时间段表的全量记录。如果每天都[阅读全文:]
摘要:1. 背景财务项目不好做财务类项目一直被定义为比较难的项目,项目利润率不高,风险高,专业……和财务部门调研需求时候,客户通常会说 xx 报表数据来源于系统中某模块 xx 报表(前端报表页面),但,大家都[阅读全文:]
摘要:1. 整体结构NC 系统前端分一个个业务模块,比如应收应付、存货核算、供应链等、企业报表,有些模块底层有若干明细表与之对应,有些模块,是即时计算,底层没有直接对应数据表。NC连接器在设计时候,从两个维度[阅读全文:]
摘要:1. 概述1.1 应用场景在数据同步时,当历史数据量很大,为保证数据的时效性,需要对数据定时进行增量更新。在增量更新过程中,若遇到字段异常值、脏数据等问题,将导致数据同步一段时间后任务失败。此时目标表中[阅读全文:]
摘要:1. 概述1.1 背景某公司使用简道云表单填报获取订单明细数据,并且这些数据需要和数据库中的客户信息「S客户」进行关联,从而构建出客户订单明细宽表;在 FineBI 中使用此数据表制作可视化看板进行订单[阅读全文:]
摘要:1. 概述1.1 应用场景对象问题用户期望业务数据库(新增大量数据/更新部分数据)业务系统每天都会新增大量数据,写入业务数据库业务数据库数据量过多,希望能够保证并提高业务数据库的性能存在不再使用但又不能[阅读全文:]
摘要:1. 概述帆软产品体系覆盖企业全部的数据分析应用场景,依托原厂产品天然融合的优势,提供从数据采集, 数据处理,数据分析与挖掘到数据可视化展现的一体化商业智能解决方案。FineDataLink 一站式数[阅读全文:]
摘要:1. 概述1.1 应用场景公司每月定期对员工销量总和进行计算,若销量总和大于 500,则筛选出销售量大于平均值的员工信息,写入优秀员工信息表,进行表扬嘉奖。若销量总和小于 500 则筛选出销售量小于平均[阅读全文:]
摘要:1. 概述1.1 应用场景用户给关键业务指标设置了预警阈值进行监控,一旦达到阈值,通过企业微信/钉钉等渠道迅速向责任人告警,缩短业务决策周期。用户希望通过邮件/企业微信等渠道,向成员发布信息或罗列特定事[阅读全文:]
摘要:1. FDL复用前准备在复用 FDL 具体任务前需要检查以下事项来确保后续的复用步骤顺利进行;序号检查项详细说明1sap版本确保 sap 版本为s4/hana2功能范围确认是否启用WBS(对FDL复用细[阅读全文:]
摘要:1. 概述1.1 背景数仓调度场景概述 介绍了如何使用 FineDataLink 将不同数据源数据整合并搭建数据仓库,通过设置定时任务更新调度实现数据仓库数据的持续更新。其中在构建 ODS 层[阅读全文:]
摘要:1. 概述1.1 应用场景公司中有许多成员使用 FineDataLink 开发定时任务,若成员 A 修改了定时任务 1 没有通知成员 B,成员 B 运行定时任务 1 的时候运行报错或数据不对,B 不知道[阅读全文:]
摘要:1. 概述用户在使用 FDL 处理数据时,常常有疑问:什么是物理删除?什么是逻辑删除?物理删除和逻辑删除有什么区别本文介绍这两种删除方式。2. 数据开发2.1 功能使用说明1)4.0.28 及[阅读全文:]
摘要:1. 概述1.1 应用场景本文适用于新增数据的场景,若数据被修改、删除,需参见文档:数据比对更多数据同步方案请参见:数据同步方案概述1.2 方案简介在数据同步时,为了保证数据时效性,有时我们需要对数据定[阅读全文:]
摘要:1. 概述用户使用简道云系统进行业务流转、表单上报等,若需要将收集的简道云数据取出,结合其他系统数据进行数据分析;或者在制作简道云表单时,很多数据需要从业务系统取数,需要将数据写入简道云系统中,此时均可[阅读全文:]
摘要:1. 概述1.1 背景某集团长期使用 Finereport 制作报表看板,开发人员小A 在使用过程中发现一些问题:由于使用 FineReport 直连业务库,通过复杂sql实现报表取数,导致前端报表展示[阅读全文:]
摘要:1. 概述数仓调度场景案例给出了整体的调度方案,本文将为你介绍如何设置 DW 层任务。DW 层任务即将 ODS 层数据中更新的数据同步至 DW 层数据中。若已有的 ODS 层数据中最新更新时间(比如最新[阅读全文:]
摘要:1. 概述数据仓库(DataWarehouse),一般缩写成 DW、DWH。数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。从字面上来看,数据仓库就是一个存放数据[阅读全文:]
摘要:1. 概述1.1 背景FDL和FineReport组合应用示例 中解决了跨数据库关联、复杂SQL导致报表前端加载缓慢、报表数据集无法被引用和关联,无法进行数据集的复用等问题。但是若用户在 Fi[阅读全文:]
摘要:1. 概述1.1 应用场景用户为保证数据安全,不希望直接将数据仓库账号开发给第三方使用,且拥有 FineDataLink 作为数据中台,想使用「数据服务」功能,统一分发数据给第三方使[阅读全文:]
摘要:1. 概述1.1 应用场景FDL 中原先采用的数据连接名为demo1,已在大量定时任务中使用。为了规范数据连接命名,需将此数据连接名更改为fdl_demo,目前需要逐个打开定时任务并手动重新选择新命名的[阅读全文:]
摘要:1. 概述1.1 问题描述用户想使用「参数赋值」+「循环容器」节点,分段取出 API 接口中的数据,并将数据解析。任务设计如下图所示:但当某个参数从 API 接口中取的数据,经解析后,为空时(没有任何内[阅读全文:]
摘要:1. 概述数仓调度场景案例给出了整体的调度方案,本文将为你介绍如何设置 ODS 层任务。设置 ODS 层任务需要将来自接口数据的「财务数据」和存储在固定数据库的「销售数据」通过 FineDataLink[阅读全文:]
摘要:1. 概述API 入门详情参见:API入门1.1 应用场景有时用户需要先获取 Token 或者某个指定数据,然后再根据 Token 从指定 API 中取出 JSON 类型数据。例如我们想要通过[阅读全文:]
摘要:1. 概述API 入门详情参见:API入门1.1 应用场景有时用户需要先获取 Token 或者某个指定数据,然后再根据 Token 从指定 API 中取出非 JSON 类型数据。比如我们想要通过 API[阅读全文:]
摘要:1. 概述数仓调度场景案例给出了整体的调度方案,本文将为你介绍如何设置 DM 层任务。DM 层使用更新的数据进行数据处理,将 DW层的销售数据和财务数据进行关联,合并成宽表并输出至指定数据库,为其他报表[阅读全文:]
摘要:1. 概述数仓调度场景案例给出了整体的调度方案,本文将为你介绍如何设置总的数仓调度任务。三个层级的数仓都已经设置完成,接下来就可以将 ODS、DW、DM 层的调度任务进行组合,通过调用任务的形式组合在一[阅读全文:]
摘要:1. 概述1.1 应用场景将来源表的数据更新到目标表时,将部分字段进行比对,只更新这些字段的数据。1.2 实现思路根据比对字段更新目标表指定字段的思路:来源表有数据新增:目标表中插入新增数据来源表有数据[阅读全文:]