摘要:1. 概述1.1 问题描述用户想使用「参数赋值」+「循环容器」节点,分段取出 API 接口中的数据,并将数据解析。任务设计如下图所示:但当某个参数从 API 接口中取的数据,经解析后,为空时(没有任何内[阅读全文:]
摘要:概述本文对帮助文档中 FineDataLink 的实际应用文档进行筛选、整理、归类、排版,形成了内容合辑,文章按难易程度、内容模块整理分类为不同的篇章,点击标题即可进入相应文章。持续更新中……数仓搭建说[阅读全文:]
摘要:1. 概述1.1 应用场景用户想了解某个管道任务是谁编辑的、编辑时间、断点相关信息等,FDL 工程内的 管道任务运维 无法满足需求。1.2 实现思路用户可根据实际需求,使用 Fine[阅读全文:]
摘要:1. 概述帆软产品体系覆盖企业全部的数据分析应用场景,依托原厂产品天然融合的优势,提供从数据采集, 数据处理,数据分析与挖掘到数据可视化展现的一体化商业智能解决方案。FineDataLink 一站式数[阅读全文:]
摘要:1. 概述1.1 应用场景某贸易公司,交易员每天使用 FineReport 填报模板,将新产生的订单或历史订单的修改数据录入到「补录表」中。「补录表」需要将最新数据同步到数据库表中;数据分析工具使用数据[阅读全文:]
摘要:1. 概述1.1 应用场景公司每月定期对员工销量总和进行计算,若销量总和大于 500,则筛选出销售量大于平均值的员工信息,写入优秀员工信息表,进行表扬嘉奖。若销量总和小于 500 则筛选出销售量小于平均[阅读全文:]
摘要:1. 概述1.1 应用场景用户给关键业务指标设置了预警阈值进行监控,一旦达到阈值,通过企业微信/钉钉等渠道迅速向责任人告警,缩短业务决策周期。用户希望通过邮件/企业微信等渠道,向成员发布信息或罗列特定事[阅读全文:]
摘要:1. 概述1.1 背景某集团长期使用 Finereport 制作报表看板,开发人员小A 在使用过程中发现一些问题:由于使用 FineReport 直连业务库,通过复杂sql实现报表取数,导致前端报表展示[阅读全文:]
摘要:1. 概述1.1 背景某集团长期使用 FineBI 进行数据分析,FineBI的使用流程为:IT人员在FineBI中直接连接数据库数据,通过自助数据集对原始数据进行数据清洗和处理,形成业务可用的数据宽表[阅读全文:]
摘要:1. 概述1.1 背景数仓调度场景概述 介绍了如何使用 FineDataLink 将不同数据源数据整合并搭建数据仓库,通过设置定时任务更新调度实现数据仓库数据的持续更新。其中在构建 ODS 层[阅读全文:]
摘要:1. 概述1.1 应用场景某企业现在需要将简道云OA系统表单数据全部取出以供业务分析使用。接口文档中没有页数相关的参数,因此不能使用API取数-按页数取数方案。但是接口中有 limit&nbs[阅读全文:]
摘要:1. 概述1.1 应用场景公司中有许多成员使用 FineDataLink 开发定时任务,若成员 A 修改了定时任务 1 没有通知成员 B,成员 B 运行定时任务 1 的时候运行报错或数据不对,B 不知道[阅读全文:]
摘要:1. 概述在现实的业务中,有很多数据需要通过 API 接口调用使用。因此本文为用户介绍在 FineDataLink 中使用 API 取数并进行数据解析处理,最终将数据写入指定数据库的方案。注:若需要使用[阅读全文:]
摘要:1. 概述为了确保数据的时效性,数据更新变得非常重要。只有数据保持更新,才能持续地应用于业务中。本文根据用户的数据结构和更新需求,整理了不同场景下 FineDataLink 推荐的更新方案,方便用户更好[阅读全文:]
摘要:1. 概述1.1 背景某公司使用简道云表单填报获取订单明细数据,并且这些数据需要和数据库中的客户信息「S客户」进行关联,从而构建出客户订单明细宽表;在 FineBI 中使用此数据表制作可视化看板进行订单[阅读全文:]
摘要:1. 概述1.1 背景数据仓库的调度配置是实际业务中必不可少的一环。通过调度配置,可以实现数据的更新同步,从而让数据持续的应用在业务中。例如,某销售公司当前情况如下:当前有两个部门的数据:「销售」和「财[阅读全文:]
摘要:1. 概述API 作为现代软件开发的重要组成部分。它在企业、互联网和移动应用等领域都有着广泛的应用。比如:系统集成:企业可以使用API将各种不同的应用程序和服务集成起来,以满足业务需求。数据共享:企业可[阅读全文:]
摘要:1. 概述有时数据可能不仅仅会有新增,还可能会有修改、删除,这时候我们希望能够对数据进行比对更新,保证数据的变化同步到目标表中。4.0.18 及之后版本,「数据转换」节点移除「比对删除」算子,新增「数据[阅读全文:]
摘要:1. 概述FineDataLink 支持在数据开发中从 API 接口中取数,并解析 JSON 或者 XML 格式的返回结果为二维表结构,然后使用其他数据转换中封装好的可视化算子对数据进行进一步处理和计算[阅读全文:]
摘要:1. 概述1.1 背景某公司业务中大量使用简道云表单进行填报,每天都会生成大量的数据,而这些数据希望能够定期同步至指定的数据库中,便于与其他系统的数据进行联合使用。根据简道云录入表单数据的增删改情况,有[阅读全文:]
摘要:1. 概述1.1 应用场景在数据同步时,当历史数据量很大,为保证数据的时效性,需要对数据定时进行增量更新。在增量更新过程中,若遇到字段异常值、脏数据等问题,将导致数据同步一段时间后任务失败。此时目标表中[阅读全文:]
摘要:1. 概述1.1 应用场景对象问题用户期望业务数据库(新增大量数据/更新部分数据)业务系统每天都会新增大量数据,写入业务数据库业务数据库数据量过多,希望能够保证并提高业务数据库的性能存在不再使用但又不能[阅读全文:]
摘要:1. 概述数仓调度场景案例给出了整体的调度方案,本文将为你介绍如何设置 DW 层任务。DW 层任务即将 ODS 层数据中更新的数据同步至 DW 层数据中。若已有的 ODS 层数据中最新更新时间(比如最新[阅读全文:]
摘要:1. 概述1.1 应用场景在实际业务场景中,做数据增量更新的时候,有时候会碰到以下情况:当表数据很大时,每次更新只有很小一部分数据,如果只保留一张全量表,则无法查询历史某个时间段表的全量记录。如果每天都[阅读全文:]
摘要:1. 概述数仓调度场景案例给出了整体的调度方案,本文将为你介绍如何设置 ODS 层任务。设置 ODS 层任务需要将来自接口数据的「财务数据」和存储在固定数据库的「销售数据」通过 FineDataLink[阅读全文:]
摘要:1. 概述API 入门详情参见:API入门1.1 应用场景有时用户需要先获取 Token 或者某个指定数据,然后再根据 Token 从指定 API 中取出 JSON 类型数据。例如我们想要通过[阅读全文:]
摘要:1. 概述API 入门详情参见:API入门1.1 应用场景有时用户需要先获取 Token 或者某个指定数据,然后再根据 Token 从指定 API 中取出非 JSON 类型数据。比如我们想要通过 API[阅读全文:]
摘要:1. 概述1.1 应用场景某企业现在需要将某业务工单数据全部取出以供业务分析使用。由于数据量比较大,不可能一次性取全量数据,因此需要使用参数。接口文档中 pageIndex 表示数据页数;pa[阅读全文:]
摘要:1. 概述数仓调度场景案例给出了整体的调度方案,本文将为你介绍如何设置 DM 层任务。DM 层使用更新的数据进行数据处理,将 DW层的销售数据和财务数据进行关联,合并成宽表并输出至指定数据库,为其他报表[阅读全文:]
摘要:1. 概述在数据同步时,为了保证数据时效性,有时我们需要对数据定时进行增量更新,比如每天将新增的一部分数据(来源表)更新至目标数据表中。数据的增量更新可以根据用户的实际数据情况分为三种:来源表有时间戳字[阅读全文:]
摘要:1. 概述数仓调度场景案例给出了整体的调度方案,本文将为你介绍如何设置总的数仓调度任务。三个层级的数仓都已经设置完成,接下来就可以将 ODS、DW、DM 层的调度任务进行组合,通过调用任务的形式组合在一[阅读全文:]
摘要:1. 概述1.1 应用场景将来源表的数据更新到目标表时,将部分字段进行比对,只更新这些字段的数据。1.2 实现思路根据比对字段更新目标表指定字段的思路:来源表有数据新增:目标表中插入新增数据来源表有数据[阅读全文:]