"数据开发-定时任务" 分类下的文档该分类下有239篇文档创建该分类下的文档
配置Greenplum資料源
文档创建者:Wendy123456      创建时间:05-24 16:25      标签:      编辑:42次    |   浏览:5301次

摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.4「管理系統>資料連結>資料連結管理」中,可建立 Greenplum(並行裝載)資料連結定時任務讀寫適配 Greenplu[阅读全文:]

连线执行判断
文档创建者:Wendy123456      创建时间:05-25 15:10      标签:      编辑:18次    |   浏览:4342次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.31)在定时任务编辑界面中,右键点击节点连线,提供「无条件执行」、「成功时执行」、「报错时执行」的节点连线配置2)在定时任务编辑界面中[阅读全文:]

文件传输功能说明
文档创建者:Roxy      创建时间:02-23 11:51      标签:      编辑:12次    |   浏览:2516次

摘要:[helpvideo]8628[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能说明4.1.5.5-1.2 应用场景简道云/API附件移动:用户想要将简道云/API接口中的[阅读全文:]

定时任务问题排查
文档创建者:FineDataLink      创建时间:05-24 14:21      标签:      编辑:63次    |   浏览:4771次

摘要:新建定时任务,前端报错:任务不存在,无法获取文件问题描述:新建定时任务,前端报错“任务不存在,无法获取文件”。解决方案:linux 环境缺乏中文语言包。在新建任务时,生成的dp文件为???.dp,导致任[阅读全文:]

数据转换问题排查
文档创建者:Roxy      创建时间:06-21 16:01      标签:      编辑:26次    |   浏览:2999次

摘要:数据转换运行日志报错:超出内存限制问题描述:任务运行失败,报错超出内存限制。原因分析:数据开发所占用的内存资源超过工程设置的上限。解决方案:可以根据实际运行任务情况,参考 机器要求 [阅读全文:]

全局参数-赋值参数
文档创建者:Roxy      创建时间:05-11 14:58      标签:      编辑:10次    |   浏览:1429次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.8.1新增动态赋值参数设置功能4.1.13.2配置方式为「选表」时,支持选字段1.2 应用场景当多个定时任务需要使用相同的参数赋值时,[阅读全文:]

参数赋值节点
文档创建者:Wendy123456      创建时间:03-17 13:45      标签:      编辑:62次    |   浏览:16701次

摘要:1. 概述[helpvideo]8624[/helpvideo]1.1 版本说明FineDataLink 版本功能变动1.7新增一种节点类型:「参数赋值」,可以将取到的数据输出为参数,被下游连线节点使用[阅读全文:]

实时任务概述
文档创建者:Roxy      创建时间:06-12 16:54      标签:      编辑:8次    |   浏览:1343次

摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]

Pulsar输入
文档创建者:Roxy      创建时间:08-22 14:54      标签:      编辑:6次    |   浏览:440次

摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]

Kafka输入
文档创建者:Roxy      创建时间:08-22 11:54      标签:      编辑:5次    |   浏览:1018次

摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]

数据转换FAQ
文档创建者:Wendy123456      创建时间:05-08 14:25      标签:      编辑:13次    |   浏览:1015次

摘要:1. 概述本文档收集数据转换节点的常见问题,并给出答案。2. 数据转换2.1 简道云相关分类常见问题解决方案简道云数据连接FDL怎么获取简道云的数据源可参考 简道云输入典型示例 获取[阅读全文:]

定时任务FAQ
文档创建者:Wendy123456      创建时间:09-11 16:58      标签:      编辑:32次    |   浏览:3202次

摘要:1. 概述本文档收集数据开发模块的常见问题,并给出答案。2. 数据开发模块功能咨询分类常见问题解决方案数据同步VS数据转换「数据转换」节点能实现数据同步功能,那「数据同步」节点单独拿出来的意义是什么详情[阅读全文:]

参数在FDL中的典型应用场景
文档创建者:Wendy123456      创建时间:05-27 09:36      标签:      编辑:8次    |   浏览:1323次

摘要:1. 概述本文介绍参数在数据开发中的典型应用场景。如何配置并使用参数请参见:如何配置并使用参数2. 数据开发2.1 增量数据同步定时任务每次执行时,可只同步指定时间范围内、或指定主键范围内的数据到目标表[阅读全文:]

单个实时任务管理
文档创建者:Roxy      创建时间:08-22 18:09      标签:      编辑:2次    |   浏览:527次

摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]

DB表输出(实时任务)
文档创建者:Roxy      创建时间:08-22 17:47      标签:      编辑:4次    |   浏览:630次

摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]

Kafka输出
文档创建者:Roxy      创建时间:08-22 16:58      标签:      编辑:1次    |   浏览:444次

摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]

CDC输入
文档创建者:Roxy      创建时间:08-22 17:35      标签:      编辑:1次    |   浏览:740次

摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]

解析多层嵌套JSON并实现1:n关系
文档创建者:Wendy123456      创建时间:10-11 16:02      标签:      编辑:4次    |   浏览:64次

摘要:1. 概述1.1 应用场景用户的 JSON 数据结构是多层数组嵌套,如下图所示:现需要解析上层数组元素和下层数组元素,实现 1:n 的关系。例如:希望 titles 数组中的字段,能与 items 数组[阅读全文:]

Python 算子
文档创建者:Wendy123456      创建时间:09-06 11:40      标签:      编辑:44次    |   浏览:6863次

摘要:[helpvideo]8616[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动4.0.29「数据转换」节点中新增「Python 算子」4.1.6.2加载文件的默认路径[阅读全文:]

SQL脚本
文档创建者:Wendy123456      创建时间:03-17 11:26      标签:      编辑:37次    |   浏览:11561次

摘要:1. 概述[helpvideo]8620[/helpvideo]1.1 版本FineDataLink 版本功能变动1.0-4.1.3脚本配置Tab下,数据源是 MySQL、Oracle、SQL[阅读全文:]

JSON生成
文档创建者:Roxy      创建时间:02-15 14:15      标签:      编辑:9次    |   浏览:4825次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.19-4.1.7.2界面优化1.2 应用场景当用户需要使用 API 输出实现将 API 数据写入指定接口时,可能需要将数据库或者其他形[阅读全文:]

循环容器逻辑说明
文档创建者:Wendy123456      创建时间:05-31 17:30      标签:      编辑:66次    |   浏览:15331次

摘要:1. 概述[helpvideo]8622[/helpvideo]1.1 版本说明FineDataLink 版本功能变动4.0.3.1新增「循环容器」节点,满足多个节点循环执行的场景4.0.30「循环容器[阅读全文:]

新增计算列获取当月天数
文档创建者:Wendy123456      创建时间:09-20 11:13      标签:      编辑:4次    |   浏览:137次

摘要:1. 概述1.1 应用场景用户想使用 新增计算列 算子,获取当月天数。注:SQL 语句获取当月天数方案请自行百度。1.2 实现思路先获取当月第一天日期、下个月第一天日期,然后使用 D[阅读全文:]

循环容器循环次数无限制插件
文档创建者:Roxy      创建时间:07-10 11:52      标签:      编辑:5次    |   浏览:940次

摘要:1. 概述1.1 版本FineDataLink版本4.1.10.21.2 应用场景用户希望定时任务中的循环容器的循环次数上限无限制次数(当前默认 10000次);希望单个参数输出值的个数没有限制。便于用[阅读全文:]

数据集输出
文档创建者:Roxy      创建时间:05-21 11:17      标签:      编辑:24次    |   浏览:1919次

摘要:1. 概述1.1 版本FineDataLink 版本FineBI6.1 版本功能变动4.1.8.2-4.1.8.3BI6.1-4.1.9.1-4.1.10.3BI6.1.14.1.10.4 版本 Fin[阅读全文:]

分页取数-计算总页数并按页取数
文档创建者:Roxy      创建时间:10-11 15:20      标签:      编辑:7次    |   浏览:2071次

摘要:1. 概述1.1 应用场景某企业现在需要将某业务数据全部取出以供业务分析使用。由于数据量比较大,不可能一次性取全量数据,因此需要使用参数。接口文档中 pageNum 表示数据页数;p[阅读全文:]

消息通知
文档创建者:Wendy123456      创建时间:03-17 16:12      标签:      编辑:42次    |   浏览:11861次

摘要:1. 概述[helpvideo]8629[/helpvideo]1.1 版本FineDataLink 版本功能变动3.6.1新增节点「消息通知」,可将任务调度结果以企业微信群机器人的形式通知给指定用户4[阅读全文:]

数据同步-API
文档创建者:Wendy123456      创建时间:03-17 10:40      标签:      编辑:70次    |   浏览:23114次

摘要:1. 概述1.1 版本「数据同步-API」功能包含的设置项与 API 输入算子 相同,功能变动请参见:API输入 文档的 1.1 节内容。1.2 应用场景出于安全考虑,有时不允许直接访问数据库[阅读全文:]

SparkSQL编码、加密、解密函数
文档创建者:Roxy      创建时间:06-13 19:14      标签:      编辑:10次    |   浏览:6275次

摘要:1. 概述1.1 版本FineDataLink 版本功能说明--4.1.5.1新增加密函数和解密函数1.2 功能说明「编码函数」、「加密函数」、「签名函数」等常用于进行API加密认证取数时的 Token[阅读全文:]

简道云输出算子
文档创建者:Roxy      创建时间:02-24 14:36      标签:      编辑:41次    |   浏览:5988次

摘要:[helpvideo]8619[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动4.0.20新增简道云输出算子,可将数据输出到简道云中,供简道云使用支持将数据输出到包含[阅读全文:]

简道云输出算子:清空目标表,再写入数据
文档创建者:Wendy123456      创建时间:03-25 11:33      标签:      编辑:4次    |   浏览:958次

摘要:1. 概述1.1 应用场景简道云输出算子 不能选择「清空目标表,再写入数据」写入方式。用户在以下场景时,希望能先清空简道云表单再写入数据:简道云表单数据发生全面更新,不仅仅是部分更新或增量更新[阅读全文:]

定时任务能力说明
文档创建者:Wendy123456      创建时间:07-25 11:42      标签:      编辑:13次    |   浏览:1967次

摘要:1. 概述「数据开发>定时任务」模块支持在可视化界面使用各个节点和算子进行数据的抽取、转换和装载,并可以通过定时调度功能自动运行定时任务,帮助您轻松构建离线数仓,保证数据生产的高效稳定。本文为您说[阅读全文:]

定时任务界面介绍
文档创建者:Wendy123456      创建时间:04-18 10:04      标签:      编辑:26次    |   浏览:3298次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动1.9-4.1.4任务工具栏中的「保存并运行」按钮,修改为「运行」按钮「任务控制」中的调度配置Tab,单独独立出来,为「调度计划」4.1.5.[阅读全文:]

使用文件传输节点传输图片/视频
文档创建者:Roxy      创建时间:09-13 10:25      标签:      编辑:2次    |   浏览:131次

摘要:1. 概述1.1 应用场景用户想要将 FTP/SFTP服务器/本地FineDataLink 工程中的图片、视频输出至指定的服务器中。1.2 实现思路使用「文件传输」节点,设置「文件来源」为FT[阅读全文:]

定时任务调用数据库存储过程
文档创建者:Wendy123456      创建时间:12-12 14:16      标签:      编辑:15次    |   浏览:2497次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.3定时任务中,数据源是 MySQL、Oracle、SQLServer 时,支持调用数据库存储过程4.1.11.2HP Ver[阅读全文:]

参数输出
文档创建者:Roxy      创建时间:11-15 10:55      标签:      编辑:20次    |   浏览:6201次

摘要:1. 概述[helpvideo]8625[/helpvideo]1.1 版本FineDataLink 版本功能变动4.0.13-4.1.0优化「参数输出」设置界面将「分隔符」单选按钮组改为「闭包符」开关[阅读全文:]

Shell脚本
文档创建者:Roxy      创建时间:09-01 18:52      标签:      编辑:43次    |   浏览:9858次

摘要:1. 概述[helpvideo]8627[/helpvideo]1.1 版本说明FineDataLink 版本功能变动4.0.8-4.1.0「脚本参数」下拉框中显示已配置参数1.2 应用场景用户希望在[阅读全文:]

调用任务
文档创建者:Wendy123456      创建时间:03-17 14:01      标签:      编辑:28次    |   浏览:8996次

摘要:1. 概述[helpvideo]8670[/helpvideo]1.1 版本说明FineDataLink 版本功能变动3.2新增节点「调用任务」,可以在当前任务中调用执行其他任务,参数传递不支持跨层级,[阅读全文:]

SAP ERP取数概述
文档创建者:Roxy      创建时间:09-28 17:08      标签:      编辑:15次    |   浏览:4899次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.10-4.1.12.2支持「选表」取数算子名称修改为「SAP ERP输入」函数调用配置方式下,导出参数的显示内容,由「...」调整为「[阅读全文:]

带参数的SAP函数调用取数
文档创建者:Roxy      创建时间:09-28 16:20      标签:      编辑:7次    |   浏览:2690次

摘要:1. 概述1.1 应用场景用户数据存储在 SAP 中,因此需要对接SAP取数,但是由于数据安全问题或对SAP底层表并不了解,无法直接连接 SAP 的底层数据库取数。因此希望通过RFC接口调用的[阅读全文:]

不带参数的SAP函数调用取数
文档创建者:Roxy      创建时间:09-27 11:18      标签:      编辑:12次    |   浏览:2678次

摘要:1. 概述1.1 应用场景用户数据存储在 SAP 中,因此需要对接 SAP 取数,但是由于数据安全问题或对 SAP 底层表并不了解,无法直接连接 SAP 的底层数据库取数。因此希望调用 SAP 系统内已[阅读全文:]

SAP ERP选表查询
文档创建者:Roxy      创建时间:08-28 16:59      标签:      编辑:3次    |   浏览:290次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.10-4.1.12.2支持「选表」和「通用查询」取数1.2 功能说明选表查询类似 SQL 语句一样,从某张表中读取出某些列,并列出数据[阅读全文:]

API输出典型示例
文档创建者:Roxy      创建时间:02-28 12:28      标签:      编辑:16次    |   浏览:9866次

摘要:1. 概述API输出逻辑说明 已经介绍了API输出的基本功能,用户需要将多应用系统的数据通过FDL打通,实现业务系统间的数据交互(交互的形式为API),就可以通过 API 写入满足应用集成场景。本文以一[阅读全文:]

数据比对典型示例
文档创建者:Wendy123456      创建时间:03-17 11:01      标签:      编辑:38次    |   浏览:11894次

摘要:1. 概述数据比对功能说明 文档中介绍了「数据比对」算子的功能,本文以一个简单示例介绍该算子的使用。2. 示例示例demo详情参见:https://demo.finedatalink.com/&nbsp[阅读全文:]

数据同步-数据库表
文档创建者:Wendy123456      创建时间:06-13 15:20      标签:      编辑:11次    |   浏览:6366次

摘要:1. 概述数据同步功能说明 中已介绍了「数据同步」节点的相关功能。本文以一个具体示例为您做介绍,演示从一个 MySQL 数据库的「产品」表的所有数据,抽取到另一个 MySQL 数据库中。2. 操作步骤2[阅读全文:]

JSON解析算子功能说明
文档创建者:Wendy123456      创建时间:07-31 09:21      标签:      编辑:24次    |   浏览:4878次

摘要:[helpvideo]8608[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动3.5.1「数据转换」节点新增算子「JSON 解析」;支持将 JSON 结构的[阅读全文:]

文件输入功能说明
文档创建者:Roxy      创建时间:11-29 18:12      标签:      编辑:37次    |   浏览:9993次

摘要:[helpvideo]8610[/helpvideo]1. 概述1.1 版本说明FineDataLink 版本功能变动4.0.14-4.0.24FineDataLink 服务器本地和 FTP/[阅读全文:]

FTP服务器中白名单文件自动传输与解压
文档创建者:Wendy123456      创建时间:09-10 16:23      标签:      编辑:5次    |   浏览:259次

摘要:1. 概述1.1 应用场景用户的业务数据以压缩包的形式每日进行下发,存储在 FTP 文件服务器对应的日期目录下,已经下发完成的压缩包文件会生成同名的 .ok 文件。用户需要将部分压缩包文件传输到另外一个[阅读全文:]

MongoDB输入
文档创建者:Wendy123456      创建时间:06-27 18:54      标签:      编辑:17次    |   浏览:5497次

摘要:1. 概述1.1 版本FineDataLink 版本功能变更4.0.4.2数据连接新增 MongoDB 类型「数据转换」节点新增算子「MongoDB输入」,可实现查询MongoDB指定集合数据的功能1.[阅读全文:]

如何配置并使用参数
文档创建者:Wendy123456      创建时间:05-27 11:21      标签:      编辑:16次    |   浏览:1900次

摘要:1.  概述本文讲述如何在定时任务中配置并使用参数。2. 步骤一:定义参数(必做)FDL 中参数分为三类:任务内参数、全局参数、内置参数。如下图所示:注:「参数列表」界面展示的参数为该任务可使[阅读全文:]

数据比对功能说明
文档创建者:Wendy123456      创建时间:07-20 15:24      标签:      编辑:21次    |   浏览:5989次

摘要:1. 概述[helpvideo]8614[/helpvideo]1.1 版本FineDataLink 版本功能变动3.3「数据转换」节点新增算子「比对删除」,可将来源表中删除数据的操作同步到目标表4.0[阅读全文:]

独立部署下定时任务结果输出至FineBI
文档创建者:Roxy      创建时间:08-10 15:26      标签:      编辑:9次    |   浏览:3484次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.27独立部署时支持将 FineDataLink 处理好的数据输出至 FineBI交互界面优化4.1.3无需进行文件配置通过数据连接,支[阅读全文:]

XML解析算子
文档创建者:Roxy      创建时间:09-08 15:18      标签:      编辑:22次    |   浏览:4795次

摘要:[helpvideo]8609[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动4.0.9新增「XML解析」算子,可以将输入的 XML 数据解析为行列形式的数据1.2[阅读全文:]

数据同步-写入方式
文档创建者:Roxy      创建时间:12-28 15:07      标签:      编辑:11次    |   浏览:4493次

摘要:1. 概述1.1 版本FineDataLink版本功能说明--4.0.181)移除了「比对字段」和「更新策略」2)写入方式「直接将数据写入目标表」,更新为「追加写入数据」4.0.28调整「写入方式」和「[阅读全文:]

API输入
文档创建者:Roxy      创建时间:08-10 19:12      标签:      编辑:45次    |   浏览:15700次

摘要:[helpvideo]8607[/helpvideo]1. 概述1.1 版本说明FineDataLink 版本功能变动1.5数据来源中的数据源类型支持 API4.1.3支持分页取数,详情参见:API输入[阅读全文:]

调用定时任务相关接口说明
文档创建者:Wendy123456      创建时间:09-07 15:43      标签:      编辑:22次    |   浏览:6700次

摘要:1. 概述1.1 版本FineDataLink 版本开放平台-FineDataLink接口插件4.0.291.0.11.2 应用场景用户希望能够按需触发/执行定时任务,以提高数据时效性,场景如下所示:业[阅读全文:]

字段拆列
文档创建者:Wendy123456      创建时间:11-13 20:28      标签:      编辑:8次    |   浏览:1934次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.2新增「字段拆列」算子,字段值按照特定规则(分隔符或字符数)拆分,拆分后的结果形成新的多列字段和值4.1.7.3交互优化,选取字段改为[阅读全文:]

解析并关联多个JSON数组字段
文档创建者:Wendy123456      创建时间:08-25 11:16      标签:      编辑:10次    |   浏览:2486次

摘要:注:本文方案适用于 4.1.6.2 之前版本。1. 概述1.1 应用场景用户的 JSON 数据中包含多个数组字段,如下图所示:希望解析数组字段,且解析后的字段一一对应。如下图所示:1.2 实现思路「JS[阅读全文:]

Spark SQL
文档创建者:Wendy123456      创建时间:03-16 16:10      标签:      编辑:30次    |   浏览:11778次

摘要:[helpvideo]8617[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变更3.6.2数据转换节点 新增算子「Spark SQL」算子,可实现较灵活的数据转换功能4[阅读全文:]

API取数使用说明
文档创建者:Wendy123456      创建时间:07-16 16:45      标签:      编辑:16次    |   浏览:1508次

摘要:1. 概述FDL 提供两个功能进行接口取数,区别如下:功能说明「数据同步-API」功能若接口返回值为较简单的 JSON 格式,不需要复杂的解析处理,可参考本文进行接口取数API输入 算子若用户[阅读全文:]

参数概述
文档创建者:Roxy      创建时间:07-28 19:55      标签:      编辑:27次    |   浏览:7119次

摘要:[helpvideo]8623[/helpvideo]1. 概述为方便数据平台任务各节点相互关联,例如 B 节点的运行结果作为 A 节点的输入值进行后续计算;或者方便用户对数据进行调度配置。FineDa[阅读全文:]

获取目录下符合条件的文件,按写入方式读取入库并记录状态
文档创建者:Wendy123456      创建时间:09-02 10:20      标签:      编辑:6次    |   浏览:378次

摘要:1. 概述1.1 应用场景用户业务流程中下发的文件,有特定的文件生成则代表下发完成。比如:文件下发完成后,目录下会生成与文件同名的 .ok 文件(用来判断文件是否下发完成)、.del 文件(根[阅读全文:]

分组汇总
文档创建者:Wendy123456      创建时间:11-13 14:23      标签:      编辑:7次    |   浏览:2241次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.2新增「分组汇总」算子,对原始数据根据条件将相同的数据先合并到一组,然后按照分组后的数据进行汇总计算4.1.6.1分组与汇总框支持拖拽[阅读全文:]

SparkSQL语法概述
文档创建者:Wendy123456      创建时间:03-31 16:34      标签:      编辑:29次    |   浏览:15844次

摘要:1. 概述1.1 版本FineDataLink 版本功能变更3.6.2数据转换节点 新增算子「Spark SQL」算子,可实现较灵活的数据转换功能4.0.17「Spark SQL」算子支持使用[阅读全文:]

读取、创建、写入分区表
文档创建者:Wendy123456      创建时间:12-19 10:55      标签:      编辑:15次    |   浏览:2993次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.3数据写入Hive、星环 TRANSWARP INCEPTOR数据库时,支持创建、写入分区表支持读取 Postgr[阅读全文:]

数据同步-基于标识字段,新增/修改/删除数据
文档创建者:Wendy123456      创建时间:08-15 13:46      标签:      编辑:14次    |   浏览:4123次

摘要:1. 概述1.1 应用场景用户希望将筛选出的数据,只做新增/更新/删除操作。用户来源表数据已经有了标识字段和标识值,需要对目标表数据进行新增/更新/删除操作。1.2 功能简介在 数据同步&nb[阅读全文:]

不同写入方式效果说明
文档创建者:Wendy123456      创建时间:08-21 11:40      标签:      编辑:3次    |   浏览:672次

摘要:1. 概述数据同步-写入方式 文档中,介绍了三种写入方式:直接将数据写入目标表、清空目标表,再写入数据、基于标识字段,新增/修改/删除数据。本文为您展示这三种写入方式的实际效果。注:本文只是介绍三种写入[阅读全文:]

多个逗号分隔的字段按照分组顺序匹配
文档创建者:Wendy123456      创建时间:08-20 11:30      标签:      编辑:2次    |   浏览:453次

摘要:1. 概述1.1 应用场景从接口取数后,数据保存格式为:{{主数据},{子数据1,子数据2}{子数据a,子数据b}};其中,子数据中包含多个字段,以逗号分割存储。如下图所示:实际业务场景中,每个子数据相[阅读全文:]

数据同步概述
文档创建者:Wendy123456      创建时间:03-17 10:24      标签:      编辑:82次    |   浏览:24433次

摘要:1. 概述[helpvideo]8604[/helpvideo]1.1 应用场景用户同步数据时,在以下场景中,可使用「数据同步」节点实现:数据无需进行复杂的数据处理,希望快速完成数据表的同步。目标库计算[阅读全文:]

数据转换概述
文档创建者:Wendy123456      创建时间:03-17 10:49      标签:      编辑:55次    |   浏览:20422次

摘要:1. 概述[helpvideo]8606[/helpvideo]1.1 版本说明FineDataLink 版本功能变动3.1新增节点「数据转换」4.1.2新增「字段拆列」「字段拆行」「分组汇总」算子4.[阅读全文:]

Elasticsearch输出
文档创建者:Roxy      创建时间:08-06 12:06      标签:      编辑:4次    |   浏览:438次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.11.3-1.2 应用场景用户通过从关系型数据库中将待检索的数据写入到 Elasticsearch 里,将 Elasticsearch[阅读全文:]

条件判断逻辑说明
文档创建者:Wendy123456      创建时间:11-13 17:06      标签:      编辑:7次    |   浏览:1333次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.1统一产品内条件判断逻辑4.1.5.5「文件传输」使用该条件判断说明1.2 功能简介本文对产品内条件判断逻辑进行说明。包括:「数据过滤[阅读全文:]

「包含」和「属于」的区别
文档创建者:Wendy123456      创建时间:08-12 14:45      标签:      编辑:3次    |   浏览:495次

摘要:1. 概述条件判断逻辑说明 文档中,简单介绍了属于、不属于、包含、不包含这四种条件判断逻辑;很多用户不清楚属于与包含、不属于与不包含的区别,本文将对此进行详细解释。2. 详细说明2.1 包含和属于说明包[阅读全文:]

文本函数概述
文档创建者:Roxy      创建时间:06-19 18:05      标签:      编辑:2次    |   浏览:1387次

摘要:1. 使用位置数据开发>数据转换中的新增计算列2. 函数列表函数说明CHAR-返回指定数值的字符根据指定数字返回对应的字符CONCATENATE-字符拼接将数个字符串合并成一个字符串LEN-返回字[阅读全文:]

UUID-返回36位随机字符串
文档创建者:Roxy      创建时间:08-14 15:37      标签:      编辑:1次    |   浏览:307次

摘要:1. 概述注:4.1.11.3 及之后的版本支持该函数。语法UUID()返回通用唯一标识符 (UUID) 字符串。该值以规范的 UUID 36字符串形式返回    返回值类[阅读全文:]

定时任务相关接口介绍
文档创建者:Wendy123456      创建时间:08-16 11:02      标签:      编辑:39次    |   浏览:4826次

摘要:1. 概述本文介绍 FineDataLink 提供的可被简道云、FR、外部系统调用的定时任务相关接口。注1:接口调用说明请参见:调用定时任务相关接口说明;FR中调用接口示例请参见:FR模板调用定时任务接[阅读全文:]

新增计算列功能说明
文档创建者:Wendy123456      创建时间:05-09 17:25      标签:      编辑:13次    |   浏览:5155次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.23支持对常量、参数和其他字段进行公式计算或逻辑映射,将结果放到新的一列,参与后续运算或进行输出4.1.8.3在公式编辑可选的参数中,[阅读全文:]

FORMAT-格式转换
文档创建者:Roxy      创建时间:06-16 17:28      标签:      编辑:1次    |   浏览:1247次

摘要: 1. 概述语法FORMAT(数值/日期时间, 格式)FORMAT(数值/日期时间, 格式)返回「数值/日期时间」的指定「格式」的文本。       [阅读全文:]

CONCATENATE-字符拼接
文档创建者:Roxy      创建时间:06-14 14:18      标签:      编辑:4次    |   浏览:1112次

摘要:1. 概述语法CONCATENATE(文本1/日期时间1/数值1, 文本2/日期时间2/数值2, ……)将数个值合并成一个值。如果值是数值,直接转成数值字符串(有小数要保留小数)拼接如果值是T[阅读全文:]

REGEXP_SUBSTR-正则表达式提取字符串中相匹配的内容
文档创建者:Roxy      创建时间:08-13 17:04      标签:      编辑:1次    |   浏览:372次

摘要: 1. 概述注:4.1.11.3 开始支持此函数。语法REGEXP_SUBSTR(字符串, 正则表达式, 起始位置, 输出组次序, 模式)使用正则表达式提取字符串中相匹配的内容  &[阅读全文:]

PI数据库API循环取数
文档创建者:Wendy123456      创建时间:08-01 09:26      标签:      编辑:5次    |   浏览:781次

摘要:1. 概述本文讲述如何从 PI 数据库取数。1.1 什么是PI数据库PI 数据库是由美国 OSIsoft 公司开发的一种适用于实时数据管理的系统。它提供了高性能的数据采集、存储和检索服务,通常用于工业自[阅读全文:]

循环多次读取Linux环境文件同步数据
文档创建者:Wendy123456      创建时间:04-14 13:58      标签:      编辑:28次    |   浏览:2463次

摘要:1. 概述1.1 应用场景应用场景一:4.0.24 之前版本,用户希望自动化读取相同类型的文件,为企业降本增效。例如:某国有企业旗下有 100 多家分公司,子公司财务每月需要向总部提交各种财务预算和决算[阅读全文:]

批量扫描文件同步数据
文档创建者:Wendy123456      创建时间:11-03 10:26      标签:      编辑:6次    |   浏览:1082次

摘要:1. 概述1.1 应用场景某国有企业旗下有 100 多家分公司,子公司财务每月需要向总部提交各种财务预算和决算表,如资产负债表、利润表、现金流量表等数据表。总部财务需要手动对相同类型的财务报表进行数据汇[阅读全文:]

定时任务DDL同步
文档创建者:Roxy      创建时间:01-23 17:41      标签:      编辑:17次    |   浏览:2483次

摘要:1. 概述1.1 版本FineDataLink版本功能变动4.1.5.4-4.1.8.2DB表输出支持来源字段结构变化后提示更新字段映射,详情参见本文 2.2 节4.1.9.3支持用户自定义字段类型映射[阅读全文:]

数据关联
文档创建者:Wendy123456      创建时间:03-18 11:01      标签:      编辑:26次    |   浏览:10384次

摘要:1. 概述[helpvideo]8612[/helpvideo]1.1 版本FineDataLink 版本功能变更3.1「数据转换」节点新增算子「数据关联」1.2 应用场景用户两张数据表在不同的数据库中[阅读全文:]

文件输入算子读取单个文件
文档创建者:Wendy123456      创建时间:05-25 11:24      标签:      编辑:7次    |   浏览:2458次

摘要:1. 概述文件输入 文档讲述了「文件输入」算子的基本功能,「文件输入」算子支持从 FineDataLink 服务器本地和 FTP/SFTP 服务器上读取 Excel 和 CSV 文件[阅读全文:]

常见日期公式
文档创建者:Roxy      创建时间:06-06 19:56      标签:      编辑:8次    |   浏览:2172次

摘要:1. 概述在对日期型数据进行操作时,经常会遇到要获取当前日期、获取当前时间、获取日期的年月日等等操作。在 FineDataLink 中可以在新增计算列中实现。注:其中的日期字段需要从函数编辑框左侧的字段[阅读全文:]

条件分支
文档创建者:Wendy123456      创建时间:03-17 13:52      标签:      编辑:18次    |   浏览:7598次

摘要:1. 概述[helpvideo]8630[/helpvideo]1.1 版本说明FineDataLink 版本功能变动2.0ETL 作业新增一种节点类型:「条件分支」4.0.19「条件分支」中,支持定义[阅读全文:]

循环多次读取Windows环境文件同步数据
文档创建者:Wendy123456      创建时间:11-03 10:33      标签:      编辑:7次    |   浏览:1482次

摘要:1. 概述1.1 应用场景用户 Windows 系统中有多个相同格式的 Excel 文件,需要读取所有文件数据并进行 行转列 操作。由于 文件输入 算子批量读取文件时,是将所有文件数[阅读全文:]

数据过滤
文档创建者:Wendy123456      创建时间:02-28 10:27      标签:      编辑:12次    |   浏览:4913次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.19新增「数据过滤」算子,过滤符合条件的数据4.0.28运算符选择「为空」时,可过滤出值为空格的数据1.2 应用场景用户数据存在空值,[阅读全文:]

DB输出(事务)
文档创建者:Roxy      创建时间:01-17 16:01      标签:      编辑:4次    |   浏览:737次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.5.2-4.1.5.5若「写入方式」设置为直接将数据写入目标表,在设置主键冲突策略中,支持设置「主键相同,覆盖目标表数据」4.1.8.[阅读全文:]

每天获取Excel昨日新增数据导入数据库
文档创建者:Wendy123456      创建时间:04-19 15:53      标签:      编辑:8次    |   浏览:3768次

摘要:1. 概述1.1 预期效果Excel 数据表为源数据表,每天会新增数据,用户希望数据库中的某张表自动新增 Excel 里面昨天新增的数据。1.2 实现思路Excel 数据集作为要输入的数据,使用&nbs[阅读全文:]

API取数-钉钉获取部门列表
文档创建者:Roxy      创建时间:08-28 18:56      标签:      编辑:6次    |   浏览:3353次

摘要:1. 概述1.1 应用场景用户想要同步钉钉通信录中的部门信息。1.2 接口说明接口文档详情参见:获取部门列表、获取企业内部应用的access_token1.3 实现思路由于接口只能获取当前部门的下一级部[阅读全文:]

获取上月末、上年末等作为参数使用
文档创建者:Roxy      创建时间:04-07 11:11      标签:      编辑:4次    |   浏览:1176次

摘要:1. 概述1.1 应用场景用户想要使用上月末、上年末、上季度末、每个月第一天、最后一天等自定义参数(任务参数)无法直接设置的动态数据作为参数,进行定时任务的开发。1.2 实现思路使用 SparkSQL[阅读全文:]

WEEKDAY-星期数
文档创建者:Roxy      创建时间:06-19 16:54      标签:      编辑:1次    |   浏览:745次

摘要:1. 概述语法WEEKDAY(文本/日期时间)获取日期并返回星期数。返回值为介于0到6之间的某一整数,分别代表星期中的某一天(从星期日到星期六)   参数serial_number表[阅读全文:]

SparkSQL日期函数
文档创建者:Roxy      创建时间:06-16 17:31      标签:      编辑:13次    |   浏览:4851次

摘要:1. 概述本文介绍 SparkSQL 中的日期函数语法。本文同时提供新增计算列公式写法和 SparkSQL 语法写法,用户可自行选择。2. 时间戳推荐使用FineDataLink 新增计算列中[阅读全文:]

DATEDIF-日期差
文档创建者:Roxy      创建时间:06-16 17:01      标签:      编辑:4次    |   浏览:1141次

摘要:1. 概述语法DATEDIF(文本/开始日期, 文本/结束日期, 单位)返回两个指定日期间的天数、月数或年数     参数1文本/开始日期开始日期:代表所指定时间段的初始日[阅读全文:]

读取单Excel多Sheet文件数据
文档创建者:Wendy123456      创建时间:07-11 15:08      标签:      编辑:3次    |   浏览:927次

摘要:1. 概述1.1 应用场景财务报表、销售数据表、学生成绩表等 Excel 表格中,往往包含多个 Sheet,用户希望使用 FDL 读取单 Excel 多 Sheet 文件数据。1.2 实现思路1)在待读[阅读全文:]

数据同步-服务器数据集
文档创建者:Wendy123456      创建时间:03-17 10:44      标签:      编辑:21次    |   浏览:8618次

摘要:1. 概述1.1 版本说明FineDataLink 版本功能变动V2.2数据源类型支持服务器数据集,支持从 CSV、Excel 文件中读取数据1.2 应用场景用户希望读取 Excel 、CSV[阅读全文:]

数据同步与数据转换的区别
文档创建者:Roxy      创建时间:10-12 19:47      标签:      编辑:14次    |   浏览:13534次

摘要:1. 概述[helpvideo]8605[/helpvideo]FineDataLink 提供了包含数据开发、任务运维等功能,满足用户对数据进行同步、处理、清洗等一系列的需求。本文为你说明「数据同步」和[阅读全文:]