刪除重複列

1.1 版本

1.2應用場景

場景一：處理髒資料

在處理髒資料，去除重複列時，該功能非常有用。

例如：有的訂單資料不小心觸發了兩次，一個訂單有兩個訂單資料，這就形成髒資料，我們可以透過刪除重複列功能只保留一列。如下圖所示：

場景二：保留部分資料

使用者需對機器狀態進行資料獲取，但由於是隨機採集，資料分佈不均勻，每分鐘可能採集了 10-20 條不等。可以使用「刪除重複列」，每分鐘只保留一筆資料。

場景三：去除重複列

若需要的資料在一張寬表之中，比如，我需要對以下寬表中的使用者資料進行分析。

可以透過欄位設定，刪除掉其他欄位。再透過「刪除重複列」，對使用者資料進行去重。如下圖所示：

1.3 功能簡介

系統透過使用者所選的去重欄位，去判斷資料有沒有重複列。若去重欄位選擇「全選」，則按照所有欄位去判斷是否有重複列。

重複列，保留靠前的第一列資料。

下載範例資料：訂單資料.xlsx

1）將範例資料新增進分析主題，如下圖所示：

從該表的資料中，可以看到有訂單計入了兩次資料，且資料是重複的，只有訂單 ID 不同。

2）新增「刪除重複列」，如下圖所示：

3）系統按照所選的去重欄位判斷是否有重複列。若訂單日期相同、客戶名稱相同、訂單金額相同，我們基本可以確定這是同一個訂單了。

所以選擇「訂單日期、客戶名稱、銷售額」三個欄位作為判斷是否重複的依據，如下圖所示：

注：判斷重複後，系統預設保留第一列的資料。例如 A1000005 與 A1000006 重複，只保留第一個 A1000005 的資料。

4）點選「儲存並更新」，就能得到沒有重複值的資料。

這裏也給大家列舉下，選擇不同的去重欄位，會得到什麼樣的結果：

判斷哪些列重複後，系統會預設保留排在前面的第一列資料。

所以在不同的步驟去做「刪除重複列」操作，可能會導致系統選擇保留的第一列資料不相同。建議使用者儘量將「刪除重複行」最為最後一個步驟來做。