历史版本25 :SparkSQL文法概述 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变更
3.6.2
数据转换节点 新增算子「Spark SQL」算子，可实现较灵活的数据转换功能
4.0.17

  • 「Spark SQL」算子支持使用加密相关函数和变量

  • 同时支持作为数据源输入参数或常量

1.2 说明

本文介绍常用的 Spark SQL 语法，便于用户使用算子进行数据处理和开发。

注1：Spark SQL 算子具体用法请参见：Spark SQL算子

注2：暂不支持 Spark SQL 处理有转义的内容。

2. 索引编辑

分类文档
Spark SQL 中的常用操作符合语法说明SparkSQL常用语法
Spark SQL 中支持的条件函数SparkSQL条件函数
Spark SQL 中支持的聚合函数SparkSQL聚合函数
Spark SQL 中支持的窗口函数，可使用进行分组数据处理和计算SparkSQL窗口函数
Spark SQL 中支持的编码函数等，可用于在 API 取数时生成 TokenSparkSQL编码和加密函数
Spark SQL 中支持的字符串函数，可使用进行字符串处理SparkSQL字符串函数
SparkSQL 中的日期函数，可使用进行日期数据的处理SparkSQL日期函数
SparkSQL 中的数学函数，可使用进行数学计算Spark SQL数学函数

3. 注意事项编辑

问题描述：

「Spark SQL」算子中，SELECT split('apple,banana,orange', ',') FROM $[DB表输入] 报错Unknown data type:array - Unknown data type:array

原因分析：

我们支持中间结果是 array 继续计算，但是不支持 array 类型作为输出。