"实验室" 分类下的文档该分类下有17篇文档创建该分类下的文档
Spark SQL
文档创建者:Wendy123456      创建时间:03-16 16:10      标签:      编辑:27次    |   浏览:9159次

摘要:1. 概述1.1 版本FineDataLink 版本功能变更3.6.2数据转换节点 新增算子「Spark SQL」算子,可实现较灵活的数据转换功能4.0.17「Spark SQL」算子支持使用加密相关函[阅读全文:]

SparkSQL语法概述
文档创建者:Wendy123456      创建时间:03-31 16:34      标签:      编辑:28次    |   浏览:12310次

摘要:1. 概述1.1 版本FineDataLink 版本功能变更3.6.2数据转换节点 新增算子「Spark SQL」算子,可实现较灵活的数据转换功能4.0.17「Spark SQL」算子支持使用[阅读全文:]

获取上月末、上年末等作为参数使用
文档创建者:Roxy      创建时间:04-07 11:11      标签:      编辑:2次    |   浏览:364次

摘要:1. 概述1.1 应用场景用户想要使用上月末、上年末、上季度末、每个月第一天、最后一天等自定义参数(任务参数)无法直接设置的动态数据作为参数,进行定时任务的开发。1.2 实现思路使用 SparkSQL[阅读全文:]

SparkSQL字符串函数
文档创建者:Roxy      创建时间:06-13 19:15      标签:      编辑:8次    |   浏览:2682次

摘要:1. 概述本文介绍 SparkSQL 中的字符串函数语法。2. 字符串字符数推荐使用FineDataLink 新增计算列中的LEN-返回字符长度。CHAR_LENGTH(s):返回字符串 s[阅读全文:]

SparkSQL编码、加密、解密函数
文档创建者:Roxy      创建时间:06-13 19:14      标签:      编辑:8次    |   浏览:3896次

摘要:1. 概述1.1 版本FineDataLink 版本功能说明--4.1.5.1新增加密函数和解密函数1.2 功能说明「编码函数」、「加密函数」、「签名函数」等常用于进行API加密认证取数时的 Token[阅读全文:]

Python 算子
文档创建者:Wendy123456      创建时间:09-06 11:40      标签:      编辑:32次    |   浏览:3555次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.29「数据转换」节点中新增「Python 算子」4.1.6.2加载文件的默认路径从%fdl_honme%\webapps\webr[阅读全文:]

SparkSQL常用语法
文档创建者:Roxy      创建时间:06-13 19:18      标签:      编辑:3次    |   浏览:2463次

摘要: 1. 概述本文来介绍 SparkSQL 中的一些常用操作符合语法。2. 常用操作符操作符含义详情=等值比较A=B。如果表达式 A 与表达式 B 相等,则为TRUE;否则为 FALSE在 Fi[阅读全文:]

SparkSQL日期函数
文档创建者:Roxy      创建时间:06-16 17:31      标签:      编辑:12次    |   浏览:2922次

摘要:1. 概述本文介绍 SparkSQL 中的日期函数语法。本文同时提供新增计算列公式写法和 SparkSQL 语法写法,用户可自行选择。2. 时间戳推荐使用FineDataLink 新增计算列中[阅读全文:]

表连接与联合
文档创建者:Roxy      创建时间:06-12 11:47      标签:      编辑:2次    |   浏览:1203次

摘要:1. 概述进行数据处理时,经常需要将数据表进行连接,本文介绍在 FineDataLink 中的多种连接方式。2. 左连接LEFT JOIN(左连接)和 LEFT OUTER JOIN(左外连接) :返回[阅读全文:]

SparkSQL聚合函数
文档创建者:Roxy      创建时间:06-12 18:20      标签:      编辑:4次    |   浏览:1678次

摘要:1. 概述本文介绍 SparkSQL 中的聚合函数语法。2. COUNT-统计个数示例原表如下图所示:count(*):统计检索出的行的个数,包括 NULL 值的行。 在 SparSQL 中使[阅读全文:]

使用SparkSQL构建日期列并循环取数
文档创建者:Roxy      创建时间:07-25 16:14      标签:      编辑:7次    |   浏览:1469次

摘要:1. 概述1.1 应用场景在 API取数中有时需要日期序列作为 body 值输入(例如 body 中使用 date 值按照日期依次取出当月1号到任务运行当天中每天的数据);此时就需要构建自定义开始时间为[阅读全文:]

SparkSQL数学函数
文档创建者:Roxy      创建时间:06-20 14:52      标签:      编辑:1次    |   浏览:1500次

摘要:1. 概述本文介绍 SparkSQL 中的数学函数语法。2. ROUND-四舍五入取整round(DOUBLE a):返回对 a 四舍五入的 BIGINT 值,取整。 round(DOUBLE[阅读全文:]

SparkSQL条件函数
文档创建者:Roxy      创建时间:06-12 18:11      标签:      编辑:2次    |   浏览:1721次

摘要:1. 概述本文介绍 SparkSQL 中的条件函数语法。2. IF-条件判断推荐使用FineDataLink 新增计算列中的 IF-条件判断 函数。操作示例详情参见:新增列[阅读全文:]

SparkSQL窗口函数
文档创建者:Roxy      创建时间:06-13 19:04      标签:      编辑:1次    |   浏览:1532次

摘要:1. 概述FineDataLink 中的 SparkSQL 支持使用窗口函数。窗口函数是一种分析型的OLAP函数。窗口函数与聚合函数的功能相似,两者都可以对指定数据窗口进行统计分析,但窗口函数与聚合函数[阅读全文:]

数据排序
文档创建者:Roxy      创建时间:06-08 17:19      标签:      编辑:1次    |   浏览:938次

摘要:1. 概述在进行数据处理时,经常需要对数据进行排序,本文来介绍如何在 FineDataLink 中使用 Spark SQL 进行排序。2. 全局排序使用「Spark&nbs[阅读全文:]

数据去重
文档创建者:Roxy      创建时间:06-06 18:41      标签:      编辑:0次    |   浏览:1283次

摘要:1. 概述1.1 预期效果在搭建数据仓库时,可能需要对重复的脏数据进行去重,此时可以使用 SparkSQL 算子中的 GROUP BY 进行处理。例如:有的订单数据不小心触发了两次,一个订单有两个订单数[阅读全文:]

每天获取Excel昨日新增数据导入数据库
文档创建者:Wendy123456      创建时间:04-19 15:53      标签:      编辑:4次    |   浏览:3015次

摘要:1. 概述1.1 预期效果Excel 数据表为源数据表,每天会新增数据,用户希望数据库中的某张表自动新增 Excel 里面昨天新增的数据。1.2 实现思路Excel 数据集作为要输入的数据,使用&nbs[阅读全文:]