1. 概述
1.1 版本
| FineDataLink 版本 | 功能变更 |
|---|---|
| 3.6.2 | 数据转换节点 新增算子「Spark SQL」算子，可实现较灵活的数据转换功能 |
| 4.0.17 | 「Spark SQL」算子支持使用加密相关函数和变量 同时支持作为数据源输入参数或常量 |
| 4.1.6.4 | 支持 to_json、struct 函数，详情请参见：to_json、struct函数 |
1.2 说明
本文介绍常用的 Spark SQL 语法，便于用户使用算子进行数据处理和开发。
注1：Spark SQL 算子具体用法请参见：Spark SQL算子
注2：暂不支持 Spark SQL 处理有转义的内容。
2. 索引
| 分类 | 文档 |
|---|---|
| Spark SQL 中的常用操作符和语法说明 | SparkSQL常用语法 |
| Spark SQL 中支持的条件函数 | SparkSQL条件函数 |
| Spark SQL 中支持的聚合函数 | SparkSQL聚合函数 |
| Spark SQL 中支持的窗口函数，可使用进行分组数据处理和计算 | SparkSQL窗口函数 |
| Spark SQL 中支持的编码函数等，可用于在 API 取数时生成 Token | SparkSQL编码和加密函数 |
| Spark SQL 中支持的字符串函数，可使用进行字符串处理 | SparkSQL字符串函数 |
| SparkSQL 中的日期函数，可使用进行日期数据的处理 | SparkSQL日期函数 |
| SparkSQL 中的数学函数，可使用进行数学计算 | Spark SQL数学函数 |
3. 更多语法参考
更多语法使用请参考：SparkSQL语法（该网站非 FDL 帮助文档维护，有时可能会出现无法访问的情况）。
4. 注意事项
问题描述：
「Spark SQL」算子中，SELECT split('apple,banana,orange', ',') FROM $[DB表输入] 报错Unknown data type:array - Unknown data type:array
原因分析：
我们支持中间结果是 array 类型继续计算，但是不支持 array 类型作为输出。
