XML解析算子

1.1 版本

1.2 應用場景

對於 API、WebService、OData API中回應資料傳回的 XML 格式資料、來自 XML 檔案的資料，使用者想要將其解析為行列格式資料，以供後續加工儲存。

1.3 功能簡介

FineDataLink 支援在「資料轉換」中使用「XML解析」算子將 XML 格式資料解析為行列格式資料，以供後續加工儲存。

1.4 相容說明

4.2.5.4 之前版本，非同一層級下的節點同時被選中解析時，會各自生成解析結果，未解析到的欄位補 NULL，結果做「UNION」。如下圖所示：

情況一：

使用者使用多個 XML 解析分層解析資料，並透過其他算子進行連接，若升級到 4.2.5.4 及之後版本，不會產生相容性問題。

情況二：

使用一個 XML 解析算子解析後，透過不同的篩選把資料分成兩部分，或者使用 SparkSQL 實現其他操作，若升級到 4.2.5.4 及之後版本，會產生相容性問題，需要調整任務。

「XML解析」算子配置介面如下圖所示：

2.1 選擇源欄位

1）下拉列表內容為所有前置欄位名。

2）上游節點為 API 輸入且資料未展開為二維表時：

• 4.2.5.4 之前版本，源欄位預設為 default。

• 4.2.5.4 及之後版本，源欄位預設為 responseBody。

3）「解析後保留所有上游匯出欄位」按鈕：勾選後，將所有上游匯出欄位與解析產生的新欄位合併匯出。

4）4.2.5.4 及之後版本，XML 語句中包含下面所示字元能正常解析不報錯；

\u0000-\u0008: ASCII 碼 0-8，包括：NUL(空字元)、SOH(標題開始)、STX(正文開始)、ETX(正文結束)、EOT(傳輸結束)、ENQ(請求)、ACK(確認)、BEL(響鈴)、BS(倒退)
\u000B: ASCII碼11，即 VT(垂直列表符)
\u000C: ASCII碼12，即 FF(換頁符)
\u000E-\u001F: ASCII碼 14-31

2.2.1 4.2.5.4 之前版本

詳情請參見：歷史版本

2.2.2 4.2.5.4 及之後版本

「命名空間前綴」、「命名空間URL」說明如下表所示：

2.3 解析 XML 資料

2.3.1 選擇 XML 節點

點選「選擇XML節點」按鈕後，彈出XML節點選擇框。

陣列節點說明：同一層級的多個標籤，因同名而被聚合成一個節點，解析後會有多行資料。

包含陣列的XML範例資料：

4.2.5.4 之前版本：

只能選擇末端節點，非末端節點不能選中。詳細說明請參見：歷史版本

4.2.5.4 及之後版本：

場景	說明
選擇節點	1）支援選擇非末端節點和末端節點（末端節點定義：沒有子節點；下圖黃色欄位為末端節點，剩下的欄位為非末端節點） 2）選中非末端節點後，對應欄位以字串形式取節點內部 XML 範例：選 xml 節點時選擇 friendlist 生成的 XPath 需要是紅框部分的路徑，欄位對應值為紅框部分的字串形式 3）支援同時選中： 有從屬關係的節點：例如下圖中的 friendlist 和 name 同一陣列下的同層級節點：例如下圖中的 name、city、ge 不支援同時選中： 已選某陣列節點或其子節點，則不能選擇其他陣列或其他子節點
選擇的不是同一層的 XML 節點時	資料預覽和實際運作時，對資料進行拼行處理 場景 範例 效果 匯出欄位中的多個節點，均為同級同父節點時 匯出欄位中的多個節點，為同一個父節點下的子節點以及父節點的屬性 父節點的屬性視作為該父節點的一個子節點，和其他子節點同級處理 對於匯出欄位中的多個節點，包含不同級節點時 進行拼行處理，如果有1對n的資料，按照n的部分擴展行；如果有1:N1:N2的資料，按N2的部分擴展N1再擴展1 注1：如果把bstfri中的name和city選中直接在上面加兩列，這兩列的三行每行都是judy sh 注2：如果解析的XPath路徑中有非末端節點（比方說bstfri節點），擴展成三行，每行值相同，對應欄位以字串形式取節點內部XML（包含當前節點本身，否則XML格式可能不合法） 注3：父節點的屬性節點在該種情形下同樣視作父節點的子節點，然後根據子節點邏輯進行處理
「解析後欄位名稱」已存在，再次點選「選擇XML節點」按鈕時	新選擇的節點按彈窗中的順序在原本已有欄位的下方新增，如果彈窗中取消選擇了已有節點，從原本已有節點中刪除

2.3.2 匯出欄位

列表項允許新增，允許刪除。

經過 XML 解析產生的欄位類型統一為字串（從上游帶來的欄位類型不變）。

手寫 XPath 支援的類型：「選取節點」類和「謂語」類

例如 XML 文檔如下：

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>

<book>
  <title lang="eng">Harry Potter</title>
  <price>29.99</price>
</book>

<book>
  <title lang="eng">Learning XML</title>
  <price>39.95</price>
</book>

</bookstore>

選取節點

XPath 使用路徑運算式在 XML 文檔中選取節點。節點是透過沿着路徑或者 step 來選取的。

在下面的表格中，我們已列出了一些路徑運算式以及運算式的結果：

謂語

謂語用來尋找某個特定的節點或者包含某個指定的值的節點。

謂語被嵌在方括號中。

在下面的表格中，我們列出了帶有謂語的一些路徑運算式，以及運算式的結果：

「XML解析」算子使用範例請參見：XML解析範例