最新历史版本
:SparkSQL文法概述 返回文檔
編輯時間:
內容長度:图片数:目录数:
修改原因:
1. 概述编辑
1.1 版本
| FineDataLink 版本 | 功能變更 |
|---|---|
| 3.6.2 | 数据转换概述 新增算子「Spark SQL」算子，可實現較靈活的資料轉換功能 |
| 4.0.17 | 「Spark SQL」算子支援使用加密相關函式和變量 同時支援作為資料源輸入參數或常數 |
| 4.1.6.4 | 支援 to_json、struct 函式，詳情請參見：to_json、struct函式 |
1.2 說明
本文介紹常用的 Spark SQL 文法，便於使用者使用算子進行資料處理和開發。
注1：Spark SQL 算子具體用法請參見：Spark SQL
注2：暫不支援 Spark SQL 處理有轉義的內容。
2. 索引编辑
| 分類 | 文檔 |
|---|---|
| Spark SQL 中的常用運算子和文法說明 | SparkSQL常用语法 |
| Spark SQL 中支援的條件函式 | SparkSQL条件函数 |
| Spark SQL 中支援的聚合函式 | SparkSQL聚合函数 |
| Spark SQL 中支援的視窗函式，可使用進行分組資料處理和計算 | SparkSQL窗口函数 |
| Spark SQL 中支援的編碼函式等，可用於在 API 取數時生成 Token | SparkSQL编码、加密、解密函数 |
| Spark SQL 中支援的字串函式，可使用進行字串處理 | SparkSQL字符串函数 |
| SparkSQL 中的日期函式，可使用進行日期資料的處理 | SparkSQL日期函数 |
| SparkSQL 中的數學函式，可使用進行數學計算 | SparkSQL数学函数 |
3. 更多文法參考编辑
更多文法使用請參考：SparkSQL文法（該網站非 FDL 說明文檔維護，有時可能會出現無法存取的情況）。
4. 注意事項编辑
問題描述：
「Spark SQL」算子中，SELECT split('apple,banana,orange', ',') FROM $[DB表輸入] 報錯Unknown data type:array - Unknown data type:array
原因分析：
我們支援中間結果是 array 類型繼續計算，但是不支援 array 類型作為匯出。