"数据开发-定时任务" 分类下的文档该分类下有253篇文档创建该分类下的文档
SparkSQL编码、加密、解密函数
文档创建者:Roxy      创建时间:06-13 19:14      标签:      编辑:10次    |   浏览:8162次

摘要:1. 概述1.1 版本FineDataLink 版本功能说明--4.1.5.1新增加密函数和解密函数1.2 功能说明「编码函数」、「加密函数」、「签名函数」等常用于进行API加密认证取数时的 Token[阅读全文:]

使用文件传输节点传输图片/视频
文档创建者:Roxy      创建时间:09-13 10:25      标签:      编辑:2次    |   浏览:782次

摘要:1. 概述1.1 应用场景用户想要将 FTP/SFTP服务器/本地FineDataLink 工程中的图片、视频输出至指定的服务器中。1.2 实现思路使用「文件传输」节点,设置「文件来源」为FT[阅读全文:]

参数输出
文档创建者:Roxy      创建时间:11-15 10:55      标签:      编辑:20次    |   浏览:7449次

摘要:1. 概述[helpvideo]8625[/helpvideo]1.1 版本FineDataLink 版本功能变动4.0.13-4.1.0优化「参数输出」设置界面将「分隔符」单选按钮组改为「闭包符」开关[阅读全文:]

调用任务
文档创建者:Wendy123456      创建时间:03-17 14:01      标签:      编辑:28次    |   浏览:10631次

摘要:1. 概述[helpvideo]8670[/helpvideo]1.1 版本说明FineDataLink 版本功能变动3.2新增节点「调用任务」,可以在当前任务中调用执行其他任务,参数传递不支持跨层级,[阅读全文:]

带参数的SAP函数调用取数
文档创建者:Roxy      创建时间:09-28 16:20      标签:      编辑:7次    |   浏览:3393次

摘要:1. 概述1.1 应用场景用户数据存储在 SAP 中,因此需要对接SAP取数,但是由于数据安全问题或对SAP底层表并不了解,无法直接连接 SAP 的底层数据库取数。因此希望通过RFC接口调用的[阅读全文:]

API输出典型示例
文档创建者:Roxy      创建时间:02-28 12:28      标签:      编辑:16次    |   浏览:11294次

摘要:1. 概述API输出逻辑说明 已经介绍了API输出的基本功能,用户需要将多应用系统的数据通过FDL打通,实现业务系统间的数据交互(交互的形式为API),就可以通过 API 写入满足应用集成场景。本文以一[阅读全文:]

数据比对典型示例
文档创建者:Wendy123456      创建时间:03-17 11:01      标签:      编辑:38次    |   浏览:13922次

摘要:1. 概述数据比对功能说明 文档中介绍了「数据比对」算子的功能,本文以一个简单示例介绍该算子的使用。2. 示例示例demo详情参见:https://demo.finedatalink.com/&nbsp[阅读全文:]

数据同步-数据库表
文档创建者:Wendy123456      创建时间:06-13 15:20      标签:      编辑:11次    |   浏览:7807次

摘要:1. 概述数据同步功能说明 中已介绍了「数据同步」节点的相关功能。本文以一个具体示例为您做介绍,演示从一个 MySQL 数据库的「产品」表的所有数据,抽取到另一个 MySQL 数据库中。2. 操作步骤2[阅读全文:]

如何配置并使用参数
文档创建者:Wendy123456      创建时间:05-27 11:21      标签:      编辑:16次    |   浏览:3824次

摘要:1.  概述本文讲述如何在定时任务中配置并使用参数。2. 步骤一:定义参数(必做)FDL 中参数分为三类:任务内参数、全局参数、内置参数。如下图所示:注:「参数列表」界面展示的参数为该任务可使[阅读全文:]

XML解析算子
文档创建者:Roxy      创建时间:09-08 15:18      标签:      编辑:22次    |   浏览:5732次

摘要:[helpvideo]8609[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动4.0.9新增「XML解析」算子,可以将输入的 XML 数据解析为行列形式的数据1.2[阅读全文:]

字段拆列
文档创建者:Wendy123456      创建时间:11-13 20:28      标签:      编辑:8次    |   浏览:2819次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.2新增「字段拆列」算子,字段值按照特定规则(分隔符或字符数)拆分,拆分后的结果形成新的多列字段和值4.1.7.3交互优化,选取字段改为[阅读全文:]

API取数使用说明
文档创建者:Wendy123456      创建时间:07-16 16:45      标签:      编辑:16次    |   浏览:3470次

摘要:1. 概述FDL 提供两个功能进行接口取数,区别如下:功能说明「数据同步-API」功能若接口返回值为较简单的 JSON 格式,不需要复杂的解析处理,可参考本文进行接口取数API输入 算子若用户[阅读全文:]

分组汇总
文档创建者:Wendy123456      创建时间:11-13 14:23      标签:      编辑:7次    |   浏览:3237次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.2新增「分组汇总」算子,对原始数据根据条件将相同的数据先合并到一组,然后按照分组后的数据进行汇总计算4.1.6.1分组与汇总框支持拖拽[阅读全文:]

SparkSQL语法概述
文档创建者:Wendy123456      创建时间:03-31 16:34      标签:      编辑:29次    |   浏览:18726次

摘要:1. 概述1.1 版本FineDataLink 版本功能变更3.6.2数据转换节点 新增算子「Spark SQL」算子,可实现较灵活的数据转换功能4.0.17「Spark SQL」算子支持使用[阅读全文:]

不同写入方式效果说明
文档创建者:Wendy123456      创建时间:08-21 11:40      标签:      编辑:3次    |   浏览:1959次

摘要:1. 概述数据同步-写入方式 文档中,介绍了三种写入方式:直接将数据写入目标表、清空目标表,再写入数据、基于标识字段,新增/修改/删除数据。本文为您展示这三种写入方式的实际效果。注:本文只是介绍三种写入[阅读全文:]

多个逗号分隔的字段按照分组顺序匹配
文档创建者:Wendy123456      创建时间:08-20 11:30      标签:      编辑:2次    |   浏览:1186次

摘要:1. 概述1.1 应用场景从接口取数后,数据保存格式为:{{主数据},{子数据1,子数据2}{子数据a,子数据b}};其中,子数据中包含多个字段,以逗号分割存储。如下图所示:实际业务场景中,每个子数据相[阅读全文:]

条件判断逻辑说明
文档创建者:Wendy123456      创建时间:11-13 17:06      标签:      编辑:7次    |   浏览:2242次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.1统一产品内条件判断逻辑4.1.5.5「文件传输」使用该条件判断说明1.2 功能简介本文对产品内条件判断逻辑进行说明。包括:「数据过滤[阅读全文:]

「包含」和「属于」的区别
文档创建者:Wendy123456      创建时间:08-12 14:45      标签:      编辑:3次    |   浏览:1365次

摘要:1. 概述条件判断逻辑说明 文档中,简单介绍了属于、不属于、包含、不包含这四种条件判断逻辑;很多用户不清楚属于与包含、不属于与不包含的区别,本文将对此进行详细解释。2. 详细说明2.1 包含和属于说明包[阅读全文:]

文本函数概述
文档创建者:Roxy      创建时间:06-19 18:05      标签:      编辑:2次    |   浏览:1906次

摘要:1. 使用位置数据开发>数据转换中的新增计算列2. 函数列表函数说明CHAR-返回指定数值的字符根据指定数字返回对应的字符CONCATENATE-字符拼接将数个字符串合并成一个字符串LEN-返回字[阅读全文:]

UUID-返回36位随机字符串
文档创建者:Roxy      创建时间:08-14 15:37      标签:      编辑:1次    |   浏览:679次

摘要:1. 概述注:4.1.11.3 及之后的版本支持该函数。语法UUID()返回通用唯一标识符 (UUID) 字符串。该值以规范的 UUID 36字符串形式返回    返回值类[阅读全文:]

定时任务相关接口介绍
文档创建者:Wendy123456      创建时间:08-16 11:02      标签:      编辑:39次    |   浏览:6968次

摘要:1. 概述本文介绍 FineDataLink 提供的可被简道云、FR、外部系统调用的定时任务相关接口。注1:接口调用说明请参见:调用定时任务相关接口说明;FR中调用接口示例请参见:FR模板调用定时任务接[阅读全文:]

FORMAT-格式转换
文档创建者:Roxy      创建时间:06-16 17:28      标签:      编辑:1次    |   浏览:1770次

摘要: 1. 概述语法FORMAT(数值/日期时间, 格式)FORMAT(数值/日期时间, 格式)返回「数值/日期时间」的指定「格式」的文本。       [阅读全文:]

CONCATENATE-字符拼接
文档创建者:Roxy      创建时间:06-14 14:18      标签:      编辑:4次    |   浏览:1537次

摘要:1. 概述语法CONCATENATE(文本1/日期时间1/数值1, 文本2/日期时间2/数值2, ……)将数个值合并成一个值。如果值是数值,直接转成数值字符串(有小数要保留小数)拼接如果值是T[阅读全文:]

REGEXP_SUBSTR-正则表达式提取字符串中相匹配的内容
文档创建者:Roxy      创建时间:08-13 17:04      标签:      编辑:1次    |   浏览:1002次

摘要: 1. 概述注:4.1.11.3 开始支持此函数。语法REGEXP_SUBSTR(字符串, 正则表达式, 起始位置, 输出组次序, 模式)使用正则表达式提取字符串中相匹配的内容  &[阅读全文:]

批量扫描文件同步数据
文档创建者:Wendy123456      创建时间:11-03 10:26      标签:      编辑:6次    |   浏览:1771次

摘要:1. 概述1.1 应用场景某国有企业旗下有 100 多家分公司,子公司财务每月需要向总部提交各种财务预算和决算表,如资产负债表、利润表、现金流量表等数据表。总部财务需要手动对相同类型的财务报表进行数据汇[阅读全文:]

数据关联
文档创建者:Wendy123456      创建时间:03-18 11:01      标签:      编辑:26次    |   浏览:12722次

摘要:1. 概述[helpvideo]8612[/helpvideo]1.1 版本FineDataLink 版本功能变更3.1「数据转换」节点新增算子「数据关联」1.2 应用场景用户两张数据表在不同的数据库中[阅读全文:]

常见日期公式
文档创建者:Roxy      创建时间:06-06 19:56      标签:      编辑:8次    |   浏览:2895次

摘要:1. 概述在对日期型数据进行操作时,经常会遇到要获取当前日期、获取当前时间、获取日期的年月日等等操作。在 FineDataLink 中可以在新增计算列中实现。注:其中的日期字段需要从函数编辑框左侧的字段[阅读全文:]

条件分支
文档创建者:Wendy123456      创建时间:03-17 13:52      标签:      编辑:18次    |   浏览:9057次

摘要:1. 概述[helpvideo]8630[/helpvideo]1.1 版本说明FineDataLink 版本功能变动2.0ETL 作业新增一种节点类型:「条件分支」4.0.19「条件分支」中,支持定义[阅读全文:]

循环多次读取Windows环境文件同步数据
文档创建者:Wendy123456      创建时间:11-03 10:33      标签:      编辑:7次    |   浏览:2271次

摘要:1. 概述1.1 应用场景用户 Windows 系统中有多个相同格式的 Excel 文件,需要读取所有文件数据并进行 行转列 操作。由于 文件输入 算子批量读取文件时,是将所有文件数[阅读全文:]

数据过滤
文档创建者:Wendy123456      创建时间:02-28 10:27      标签:      编辑:12次    |   浏览:6281次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.19新增「数据过滤」算子,过滤符合条件的数据4.0.28运算符选择「为空」时,可过滤出值为空格的数据1.2 应用场景用户数据存在空值,[阅读全文:]

DB输出(事务)
文档创建者:Roxy      创建时间:01-17 16:01      标签:      编辑:4次    |   浏览:1516次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.5.2-4.1.5.5若「写入方式」设置为直接将数据写入目标表,在设置主键冲突策略中,支持设置「主键相同,覆盖目标表数据」4.1.8.[阅读全文:]

每天获取Excel昨日新增数据导入数据库
文档创建者:Wendy123456      创建时间:04-19 15:53      标签:      编辑:8次    |   浏览:4356次

摘要:1. 概述1.1 预期效果Excel 数据表为源数据表,每天会新增数据,用户希望数据库中的某张表自动新增 Excel 里面昨天新增的数据。1.2 实现思路Excel 数据集作为要输入的数据,使用&nbs[阅读全文:]

API取数-钉钉获取部门列表
文档创建者:Roxy      创建时间:08-28 18:56      标签:      编辑:6次    |   浏览:4317次

摘要:1. 概述1.1 应用场景用户想要同步钉钉通信录中的部门信息。1.2 接口说明接口文档详情参见:获取部门列表、获取企业内部应用的access_token1.3 实现思路由于接口只能获取当前部门的下一级部[阅读全文:]

获取上月末、上年末等作为参数使用
文档创建者:Roxy      创建时间:04-07 11:11      标签:      编辑:4次    |   浏览:1898次

摘要:1. 概述1.1 应用场景用户想要使用上月末、上年末、上季度末、每个月第一天、最后一天等自定义参数(任务参数)无法直接设置的动态数据作为参数,进行定时任务的开发。1.2 实现思路使用 SparkSQL[阅读全文:]

WEEKDAY-星期数
文档创建者:Roxy      创建时间:06-19 16:54      标签:      编辑:1次    |   浏览:1007次

摘要:1. 概述语法WEEKDAY(文本/日期时间)获取日期并返回星期数。返回值为介于0到6之间的某一整数,分别代表星期中的某一天(从星期日到星期六)   参数serial_number表[阅读全文:]

SparkSQL日期函数
文档创建者:Roxy      创建时间:06-16 17:31      标签:      编辑:13次    |   浏览:6505次

摘要:1. 概述本文介绍 SparkSQL 中的日期函数语法。本文同时提供新增计算列公式写法和 SparkSQL 语法写法,用户可自行选择。2. 时间戳推荐使用FineDataLink 新增计算列中[阅读全文:]

DATEDIF-日期差
文档创建者:Roxy      创建时间:06-16 17:01      标签:      编辑:4次    |   浏览:1695次

摘要:1. 概述语法DATEDIF(文本/开始日期, 文本/结束日期, 单位)返回两个指定日期间的天数、月数或年数     参数1文本/开始日期开始日期:代表所指定时间段的初始日[阅读全文:]

读取单Excel多Sheet文件数据
文档创建者:Wendy123456      创建时间:07-11 15:08      标签:      编辑:3次    |   浏览:1930次

摘要:1. 概述1.1 应用场景财务报表、销售数据表、学生成绩表等 Excel 表格中,往往包含多个 Sheet,用户希望使用 FDL 读取单 Excel 多 Sheet 文件数据。1.2 实现思路1)在待读[阅读全文:]

数据同步-服务器数据集
文档创建者:Wendy123456      创建时间:03-17 10:44      标签:      编辑:21次    |   浏览:9876次

摘要:1. 概述1.1 版本说明FineDataLink 版本功能变动V2.2数据源类型支持服务器数据集,支持从 CSV、Excel 文件中读取数据1.2 应用场景用户希望读取 Excel 、CSV[阅读全文:]

Kettle调用插件
文档创建者:Roxy      创建时间:06-14 12:46      标签:      编辑:7次    |   浏览:3069次

摘要:1. 概述1.1 版本FineDataLink版本4.1.9.31.2 应用场景用户如果有历史的 Kettle 任务想要统一用 FineDataLink 进行管理,使用 FineDataLink 对 k[阅读全文:]

数据分发
文档创建者:Wendy123456      创建时间:03-15 09:30      标签:      编辑:13次    |   浏览:4881次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.20支持对表中不同字段给予加工处理后再流向不同表1.2 应用场景处理后的数据输出前,用户希望按照不同的过滤条件输出到多张表中,若做多个[阅读全文:]

文件输出算子功能说明
文档创建者:Wendy123456      创建时间:06-25 11:00      标签:      编辑:9次    |   浏览:3793次

摘要:[helpvideo]8618[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动4.0.26新增「文件输出」算子,可将数据输出为 CSV 类型的文件4.0.30可将数据[阅读全文:]

行转列
文档创建者:Roxy      创建时间:11-24 11:36      标签:      编辑:15次    |   浏览:11572次

摘要:1. 概述[helpvideo]8615[/helpvideo]1.1 版本说明版本功能变动4.0.15-1.2 应用场景行转列可将一维表转成二维表。一维表也常称为流水线表格。一般有固定的列名,平常输入[阅读全文:]

简道云输入功能说明
文档创建者:Wendy123456      创建时间:07-21 11:40      标签:      编辑:20次    |   浏览:3926次

摘要:1. 概述[helpvideo]8611[/helpvideo]1.1 版本FineDataLink 版本功能变更4.0.2.1数据连接新增「简道云」类型「数据转换」节点新增算子「简道云输入」1.2 应[阅读全文:]

定时任务版本管理
文档创建者:Roxy      创建时间:05-22 18:20      标签:      编辑:2次    |   浏览:1819次

摘要:[helpvideo]8603[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能说明4.1.8.2-1.2 应用场景用户有多名开发人员,为防止自己的定时任务被他人误操作修改[阅读全文:]

参数赋值示例
文档创建者:Wendy123456      创建时间:10-23 17:03      标签:      编辑:8次    |   浏览:3472次

摘要:1. 概述1.1 应用场景demo1 数据库中有一张数据表名为「S产品」,想要将「类别ID」=2 的数据同步到 demotest 数据库中。1.2 实现思路「S产品」中,「产品ID」为主键,先取出「类别[阅读全文:]

提取简道云表单多值字段并显示为一行
文档创建者:Wendy123456      创建时间:07-31 15:06      标签:      编辑:10次    |   浏览:1829次

摘要:1. 概述1.1 应用场景公司人员信息保存在简道云表单中,在公司内部,有些人可能会同时担任多个职位,如王小明既是总经理又在财务部工作。在王小明出差时,为了方便报销,需要将他所在的多个部门展示出来,方便后[阅读全文:]

数据去重
文档创建者:Roxy      创建时间:06-06 18:41      标签:      编辑:5次    |   浏览:2968次

摘要:1. 概述1.1 预期效果在搭建数据仓库时,可能需要对重复的脏数据进行去重,此时可以使用 SparkSQL 算子中的 GROUP BY 进行处理。例如:有的订单数据不小心触发了两次,一个订单有两个订单数[阅读全文:]

循环容器典型示例-API取数
文档创建者:Roxy      创建时间:05-23 19:38      标签:      编辑:6次    |   浏览:6692次

摘要:1. 概述1.1 应用场景API 接口中包含参数 data_id,可取出特定 data_id 的接口数据。现在 data_id 保存在数据库中,希望取出这些 da[阅读全文:]

Shell脚本执行结果说明
文档创建者:Roxy      创建时间:01-16 17:02      标签:      编辑:8次    |   浏览:3470次

摘要:1. 概述用户在使用 Shell 脚本调用外部任务时,需要了解 FineDataLink 的调用任务是否执行成功。同时本文给出推荐的 shell 脚本书写方式。2. 判断 Shell 脚本任务执行成功F[阅读全文:]

FR模板调用定时任务接口示例
文档创建者:Wendy123456      创建时间:09-08 10:17      标签:      编辑:12次    |   浏览:7273次

摘要:1. 概述本文介绍 FR 模板调用定时任务接口的示例。查看本文档前,请先查看以下两篇文档,了解更多调用接口相关知识:开放平台-FineDataLink接口插件调用FineDataLink接口说明注:本文[阅读全文:]

20240613-Wendy-集成部署下定时任务结果输出至FineBI
文档创建者:Wendy123456      创建时间:06-30 10:22      标签:      编辑:20次    |   浏览:9455次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.4.2「数据同步」节点和「DB表输出」算子的「数据去向」界面新增「在FineBI公共数据中自动创建ETL结果表」按钮,勾选配置后,定时[阅读全文:]

调用循环容器任务
文档创建者:Roxy      创建时间:07-28 10:40      标签:      编辑:3次    |   浏览:1850次

摘要:1. 概述1.1 应用场景使用SparkSQL构建日期列并循环取数 中使用构建的日期序列进行 API 取数。如果用户将使用「循环容器」进行 API 取数作为最小调度单位,有多个前置的参数输出、[阅读全文:]

高频指标借助参数实现轻量化修改
文档创建者:Wendy123456      创建时间:10-26 14:06      标签:      编辑:6次    |   浏览:1904次

摘要:1. 概述1.1 应用场景用户需要对活跃客户的占比进行分析,但由于不断变化的业务需求,活跃客户的定义会不定期修改。例如,上半年活跃客户被定义为在过去 3 个月内至少在商城下单 2 次的连锁客户,而下半年[阅读全文:]

一条消息提醒一个人,可发送多条消息
文档创建者:Wendy123456      创建时间:01-16 10:32      标签:      编辑:5次    |   浏览:2000次

摘要:1. 概述1.1 应用场景群通知中,用户希望:每条消息对应一个通知人。某个人对应的通知内容中,文字使用颜色代表事务的紧急程度。通知内容中包含链接,用户点击即可跳转到详情页面。如下图所示:1.2 实现思路[阅读全文:]

使用邮件进行消息通知
文档创建者:Roxy      创建时间:06-05 17:04      标签:      编辑:6次    |   浏览:2702次

摘要:1. 概述使用消息通知推送数据至企业微信群 中可以通过企业微信群,通知每天未上传店铺数据的用户,提醒其需要上传数据。本文则介绍如何通过邮箱发送邮件进行消息通知。1.1 预期效果某店铺每天需要上[阅读全文:]

嵌套循环取数
文档创建者:Roxy      创建时间:08-21 18:21      标签:      编辑:5次    |   浏览:3760次

摘要:1. 概述1.1 应用场景某企业现在需要将某业务工单数据全部取出以供业务分析使用。API取数-按页数取数 中可以使用页数和内置参数 loopTimes 进行取数。但是如果遇到接口中需要使用业务[阅读全文:]

缺失值处理
文档创建者:Roxy      创建时间:06-07 16:08      标签:      编辑:2次    |   浏览:1970次

摘要:1. 概述数仓需要接收来自不同源的大量数据,数据之间可能存在格式、口径、数值上的差异。因此不可避免会出现缺失数据,本文介绍如何对缺失值进行处理。示例数据:internet_v.xls2. 删除缺失值如果[阅读全文:]

使用FDL接口形式实现阿里云服务器数据监听
文档创建者:Roxy      创建时间:01-24 18:00      标签:      编辑:5次    |   浏览:1682次

摘要:1. 概述1.1 应用场景用户需要对阿里云产品进行数据监控,实时掌握服务器性能情况。由于阿里云服务器签名认证很复杂,官方文档仅提供代码形式来获取签名。比如python或者java,且由于代码是开源的,扫[阅读全文:]

参数进行分组后再从接口循环取数
文档创建者:Roxy      创建时间:08-10 20:11      标签:      编辑:6次    |   浏览:2913次

摘要:1. 概述1.1 应用场景公司内部使用企业微信,行政部门想要统计每月员工的打卡数据,将这些数据取出至指定数据库使用。1.2 接口信息首先将「通讯录同步」的企业微信人员 userid 和 departme[阅读全文:]

使用高德接口获取城市天气数据
文档创建者:Wendy123456      创建时间:08-28 20:13      标签:      编辑:7次    |   浏览:5769次

摘要:1. 概述1.1 应用场景FR 日报表中需要填写对应城市的天气信息,包括日期、天气、最高温度、最低温度等,目前只能通过城市名人工查询后获得这些信息。FineDataLink 可简化上述操作流程:根据数据[阅读全文:]

将经纬度数据转换为中文地址
文档创建者:Wendy123456      创建时间:08-21 10:29      标签:      编辑:9次    |   浏览:3746次

摘要:1. 概述1.1 应用场景用户数据库存储了经纬度数据,希望转换成对应的中文地址(国家、省份、城市、区县、街道等),最后将转换后的数据保存到数据库中。1.2 实现思路可以调用高德或百度地址转换的 API[阅读全文:]

按日期分表,每天保存当天数据
文档创建者:Wendy123456      创建时间:01-09 16:11      标签:      编辑:6次    |   浏览:3292次

摘要:1. 概述1.1 应用场景API 接口中每天有 20 多万的数据,若落库到同一张表中,随着时间该表数据不断累积,可能造成查询慢的问题。希望能按日期分表,每天创建一个新的数据表,保存该天数据。1.2 实现[阅读全文:]

分页取数-按偏移量取数
文档创建者:Roxy      创建时间:08-17 17:38      标签:      编辑:8次    |   浏览:4541次

摘要:1. 概述1.1 应用场景公司内部使用金蝶云星空进行供应链管理。希望将 销售报价单的单据查询接口 中的数据取出,以便进行数据分析。1.2 接口说明接口文档详情参见:销售报价单的单据查[阅读全文:]

字段拆行算子
文档创建者:Wendy123456      创建时间:11-14 11:02      标签:      编辑:6次    |   浏览:2641次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.2新增「字段拆行」算子,字段值按照特定规则(分隔符)拆分,拆分后的结果形成新的一列字段和值4.1.7.3交互优化,选取字段改为「待拆分[阅读全文:]

XML解析示例
文档创建者:Wendy123456      创建时间:05-30 10:39      标签:      编辑:6次    |   浏览:2990次

摘要:1. 概述对于 API、WebService、OData 接口中响应数据返回的 XML 格式数据、来自 XML 文件的数据,用户想要将其解析为行列格式数据,以供后续加工存储。「XML解析」算子[阅读全文:]

JSON解析前过滤出不合法的数据
文档创建者:Wendy123456      创建时间:05-20 11:43      标签:      编辑:2次    |   浏览:1722次

摘要:1. 概述1.1 应用场景大数据量场景下的 json 数据解析,存在问题如下:如果存在几条不合法的 json 格式数据,解析时会导致整个定时任务运行终止。json 解析是数据处理过程,定时任务的脏数据容[阅读全文:]

JSON解析算子典型示例
文档创建者:Wendy123456      创建时间:03-17 11:17      标签:      编辑:25次    |   浏览:10720次

摘要:1. 概述JSON解析算子功能说明 文档中已介绍「JSON 解析」算子的功能,本文以一个简单示例介绍该算子的使用。2. 示例2.1 场景模拟图书数据是以 JSON 格式存储的,保存在接口数据中。http[阅读全文:]

多张Excel表数据关联后再进行加工计算
文档创建者:Wendy123456      创建时间:04-19 10:41      标签:      编辑:12次    |   浏览:4042次

摘要:1. 概述1.1 预期效果用户有两张表,存在不同的数据库中,表数据包含姓名和科目成绩,想要这两张表合并为一张表,且新增一列为科目成绩的总和,将最终数据输出到指定数据库中。1.2 实现思路先将两张成绩表通[阅读全文:]

数据比对后更新目标表时间列
文档创建者:Wendy123456      创建时间:08-04 10:34      标签:      编辑:12次    |   浏览:2794次

摘要:1. 概述1.1 应用场景用户希望来源表的增删改同步到目标表的同时,目标表的 update 字段能记录数据变化时间。「数据比对」算子可以进行增删改标记,通过自动生成 fdl_comp[阅读全文:]

简道云输入典型示例
文档创建者:Wendy123456      创建时间:05-17 10:37      标签:      编辑:25次    |   浏览:8231次

摘要:1. 概述简道云输入功能说明 文档中已介绍「简道云输入」算子的功能,本文以一个简单示例介绍该算子的使用。demo 示例详情参见:https://demo.finedatalink.com/&n[阅读全文:]

将包含两个子表单的简道云表单数据落库
文档创建者:Wendy123456      创建时间:10-10 18:30      标签:      编辑:13次    |   浏览:1926次

摘要:1. 概述1.1 应用场景简道云表单中包含两个子表单,其中一个子表单中包含成员单选、部门单选控件。如下图所示:已有数据如下图所示,现希望将该表单的数据落库。1.2 实现思路使用「简道云输入」算子读取表单[阅读全文:]

基于时间增量读取文件
文档创建者:Wendy123456      创建时间:05-26 16:28      标签:      编辑:12次    |   浏览:5765次

摘要:1. 概述1.1 应用场景FTP 服务器上的文件不定期自动更新,每次通过新建文件更新数据。用户希望自动读取这些文件的所有信息并将信息存储到数据库表中。1.2 实现思路文件输入 算子+参数实现。「文件输入[阅读全文:]

API输入-Webservice
文档创建者:Roxy      创建时间:10-18 11:33      标签:      编辑:11次    |   浏览:7228次

摘要:1. 概述1.1 版本说明FineDataLink 版本功能变动4.0.9请求类型为POST时,「请求参数」支持传入XML格式数据对于GET与POST请求,支持输出XML格式数据,支持预览XML响应结果[阅读全文:]

数据同步-简道云数据
文档创建者:Roxy      创建时间:11-15 15:16      标签:      编辑:9次    |   浏览:5173次

摘要:1. 概述1.1 版本说明FineDataLink 版本功能变动4.0.13-1.2 应用场景简道云输入 可以将简道云数据下云并进行解析和数据处理。但如果用户对于简道云数据不需要进行复杂的解析[阅读全文:]

分页取数-限制取数量且无页数参数
文档创建者:Roxy      创建时间:11-26 10:34      标签:      编辑:7次    |   浏览:5239次

摘要:1. 概述1.1 应用场景某企业现在需要将简道云OA系统表单数据全部取出以供业务分析使用。接口文档中没有页数相关的参数,因此不能使用API取数-按页数取数方案。但是接口中有 limit&nbs[阅读全文:]

自动清理FineDataLink运行记录
文档创建者:Wendy123456      创建时间:08-16 15:27      标签:      编辑:5次    |   浏览:3078次

摘要:1. 概述1.1 应用场景随着 FineDataLink 工程使用时间的增长,fine_dp_work_exec_record(记录定时任务的执行情况)表中的数据会不断积累,导致数据量逐渐增多。当数据量[阅读全文:]

Bat脚本
文档创建者:Wendy123456      创建时间:09-04 10:30      标签:      编辑:9次    |   浏览:3544次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.29新增「Bat 脚本」节点4.1.0「脚本参数」下拉框中显示已配置参数1.2 功能简介FineDataLink 提供「Bat 脚本」[阅读全文:]

JSON解析问题排查
文档创建者:Wendy123456      创建时间:05-06 16:00      标签:      编辑:2次    |   浏览:1919次

摘要:1. 概述本文为您介绍 JSON解析 相关问题。解析 JSON 数据前,建议查看:解析 JSON 数据 内容。2. 报错及解决方案包含转义字符问题描述:报错:JSON节点获取失败原因分析:用户[阅读全文:]

XML解析问题排查
文档创建者:Wendy123456      创建时间:05-06 15:32      标签:      编辑:1次    |   浏览:1130次

摘要:1. 概述本文为您介绍 XML解析 相关问题。2. XML 数据结构是否标准异常现象:选择节点是会报错:com.fr.dp.exception.FineDPException: xm[阅读全文:]

新增/修改宜搭表单数据
文档创建者:Wendy123456      创建时间:10-31 19:59      标签:      编辑:7次    |   浏览:3069次

摘要:1. 概述1.1 应用场景用户希望根据业务数据库中的数据,更新、新增宜搭表单的数据。1.2 实现思路调用 新增或更新表单实例 接口,来更新、新增宜搭表单的数据。注:「第三方个人应用」不支持调用[阅读全文:]

任务禁止被多人同时编辑
文档创建者:Wendy123456      创建时间:03-20 16:02      标签:      编辑:8次    |   浏览:2024次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.6.3定时任务、管道任务、API任务、数据服务应用禁止被多人同时编辑1.2 应用场景一个任务同时被多人打开编辑时,先保存的内容会被之后[阅读全文:]

ISNULL-判断是否为空
文档创建者:Roxy      创建时间:06-19 17:14      标签:      编辑:4次    |   浏览:1798次

摘要:1. 概述语法ISNULL(参数)判断对象中的值是否是NULL。结果为NULL,返回TRUE,否则返回FALSE。注:仅支持单个参数判断。        &nbs[阅读全文:]

文件拆分:只保留最新拆分的文件
文档创建者:Wendy123456      创建时间:03-22 15:22      标签:      编辑:9次    |   浏览:1368次

摘要:1. 概述1.1 应用场景文件输出算子 可将数据按行数拆分至多个文件,但存在以下问题:场景问题每次运行后,被拆分的文件存在重名情况用户多次运行任务,根据数据量不同,被拆分的文件个数可能不同若用[阅读全文:]

备注
文档创建者:Wendy123456      创建时间:06-10 16:12      标签:      编辑:6次    |   浏览:4582次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.4新增「备注说明」节点,可为任务添加备注各节点新增「节点信息」Tab,存放节点名称、节点备注信息4.0.8「备注说明」节点可覆盖其他节[阅读全文:]

NOW-当前时间
文档创建者:Roxy      创建时间:06-16 17:08      标签:      编辑:2次    |   浏览:1369次

摘要:1. 概述语法NOW()获取当前时间         返回值类型日期时间注:若需要获取不带时分秒的当前时间,可使用TODAY-当前日期2. 示例公式结果[阅读全文:]

虚拟节点
文档创建者:Wendy123456      创建时间:03-17 13:59      标签:      编辑:8次    |   浏览:6228次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.30鼠标左键点击节点,可配置节点名称和备注1.2 应用场景如果希望多个节点可以并行运行后再转到下游节点,可借助「虚拟节点」实现。调度无[阅读全文:]

运行至此节点
文档创建者:Wendy123456      创建时间:01-03 15:33      标签:      编辑:0次    |   浏览:1319次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.4支持设置节点时,选择运行到此处,便于查看上游配置结果和调试1.2 应用场景在调试过程中,需要更新从上游到这个节点的数据(这个节点有下[阅读全文:]

API取数-以起始行数作为参数
文档创建者:Wendy123456      创建时间:12-04 10:16      标签:      编辑:4次    |   浏览:2201次

摘要:1. 概述注:本文方案适用于 4.1.3 之前版本,4.1.3 及之后版本请参见:API取数-金蝶云星空销售报价单1.1 应用场景从 金蝶 k3Cloud 系统接口 进行分页报表取数[阅读全文:]

取出数据为空导致循环终止解决方案
文档创建者:Wendy123456      创建时间:03-02 09:58      标签:      编辑:9次    |   浏览:3525次

摘要:1. 概述1.1 问题描述用户想使用「参数赋值」+「循环容器」节点,分段取出 API 接口中的数据,并将数据解析。任务设计如下图所示:但当某个参数从 API 接口中取的数据,经解析后,为空时(没有任何内[阅读全文:]

北森接口:使用分页参数进行分页取数
文档创建者:Roxy      创建时间:11-08 09:53      标签:      编辑:2次    |   浏览:2614次

摘要:1. 概述1.1 应用场景公司内部使用北森系统进行人员管理。希望将 根据时间窗滚动查询变动的员工与单条任职信息 中的人员信息数据取出,以便进行数据分析。1.2 接口说明接口文档详情参[阅读全文:]

任务关系
文档创建者:Wendy123456      创建时间:10-07 14:54      标签:      编辑:2次    |   浏览:2190次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.30可视化展示父子任务层级调用关系、任务间调度依赖关系1.2 功能简介1)可视化展示父子任务层级调用关系,用户可查看该定时任务被哪些任[阅读全文:]

活动日程信息更新至企业微信日程
文档创建者:Wendy123456      创建时间:09-20 16:22      标签:      编辑:16次    |   浏览:2289次

摘要:1. 概述1.1 应用场景用户有些日程信息是通过 FR 填报到数据库或者保存到简道云中,原始信息可能会被其他部门进行增删改操作,因此用户希望将日程数据在企业微信中记录,方便在活动开始前对相关的同学做到自[阅读全文:]

仅在工作日执行定时任务
文档创建者:Wendy123456      创建时间:09-20 19:18      标签:      编辑:4次    |   浏览:1633次

摘要:1. 概述1.1 应用场景用户希望定时任务仅在工作日运行。1.2 实现思路调用判断当天是否为工作日的接口,若当天是工作日,进行常规后续节点运行;若当天不是工作日,可运行「虚拟节点」。如下图所示:1.3[阅读全文:]

数据同步
文档创建者:Roxy      创建时间:11-03 20:06      标签:      编辑:5次    |   浏览:15748次

摘要:1. 概述「数据同步」节点通过定义数据来源和数据去向,可快速完成数据的同步;支持数据库、API、文件等多种数据源,从数据库取数时,可写 SQL 实现数据处理。「数据同步」节点实现的是数据的定时同步,若需[阅读全文:]

表连接与联合
文档创建者:Roxy      创建时间:06-12 11:47      标签:      编辑:2次    |   浏览:2376次

摘要:1. 概述进行数据处理时,经常需要将数据表进行连接,本文介绍在 FineDataLink 中的多种连接方式。2. 左连接LEFT JOIN(左连接)和 LEFT OUTER JOIN(左外连接) :返回[阅读全文:]

API取数-SHA2加密身份验证&按页数取数
文档创建者:Roxy      创建时间:11-25 16:53      标签:      编辑:21次    |   浏览:5226次

摘要:本文档示例由第六空间家居集团有限公司提供,在此特别鸣谢。注:本文方案也适用于美团的开放平台接口。1. 概述1.1 应用场景某企业现在需要将某业务工单数据全部取出以供业务分析使用。使用了「沃丰科技」的&n[阅读全文:]

简道云输入-过滤条件说明
文档创建者:Wendy123456      创建时间:08-28 14:33      标签:      编辑:1次    |   浏览:1387次

摘要:1. 概述简道云输入 算子中,配置筛选条件时,不同类型的字段支持的过滤条件不同,本文进行说明。2. 功能介绍字段类型支持的过滤方式过滤选项flowState等于(默认)进行中、流转完成、手动结束(没有默[阅读全文:]

参数使用MD5加密后从API取数
文档创建者:Roxy      创建时间:08-18 16:56      标签:      编辑:4次    |   浏览:2570次

摘要:1. 概述1.1 应用场景公司内部使用易流云进行车辆管理。希望从接口获取用户车辆最新位置信息。1.2 接口说明接口描述:获取用户车辆的最新位置信息使用场景:其他系统需要免登易流云平台时,可使用此接口实现[阅读全文:]

使用SparkSQL构建日期列并循环取数
文档创建者:Roxy      创建时间:07-25 16:14      标签:      编辑:7次    |   浏览:3271次

摘要:1. 概述1.1 应用场景在 API取数中有时需要日期序列作为 body 值输入(例如 body 中使用 date 值按照日期依次取出当月1号到任务运行当天中每天的数据);此时就需要构建自定义开始时间为[阅读全文:]