3,500筆買家記錄,去重並非單純的複製刪除
在經營B2B業務時,最棘手的任務之一就是買家資訊管理。我們團隊在Google試算表中保有超過3,500筆買家聯絡資訊。我們預期其中許多重複,但並不清楚確切數量。
之前:手動檢查的困境
起初,團隊成員透過滾動比較電子郵件地址。若同一網域(@company.com)出現多次則標記,名字格式不同則重新檢查... 這個過程每天僅能進行約100筆。花費了3週時間。
更嚴重的問題是人眼可能遺漏重複記錄。同一個人以略有不同的格式輸入電子郵件(john.smith@、john_smith@、jsmith@)時,用眼睛很難區分。
之後:用Claude Code在5小時內解決
我們在Windows設備上打開Claude Code。提出簡單的需求。
「從Google試算表中根據電子郵件欄找出精確重複,並按公司網域分組。同時顯示同一公司的多位聯絡人」
30分鐘內腳本就完成了。執行它。
結果令人震驚。
• 完全相同的電子郵件:287筆(立即刪除候選)
• 同一公司、不同聯絡人:1,200筆(需保留)
• 格式不同的重複(john.smith vs john_smith):156筆(需手動檢查)
• 異常模式:47筆(需調查)
預料之外的發現:「同一個人註冊了多次」
Bot完成按公司分組後,我們分析了模式。
我們認為一家公司有8名人員註冊,但仔細查看發現同一個人(「Park, Michael」)用4個電子郵件註冊了。
• michael.park@company.com
• m.park@company.com
• michael_park@company.com
• mpark@company.com
我們一直在給同一個人發送4次電子郵件。對方一定有多麼無奈?
這個模式在整個資料集中重複了42次。手動方式絕對無法找到這個規模的問題。
下一步:學習自動化的局限
收到Bot的報告後,我們學到了3點。
1. **重複去除並不簡單** - 不是簡單的刪除,而是需要商業邏輯來判斷保留哪筆記錄。
2. **網域分組是關鍵** - 按公司查看數據時,模式才會顯現。
3. **自動化也需審查** - 不能100%信任Bot的結果。特別是「聯絡人整合與否」這類判斷需由人類決定。
現在我們正逐一檢查47個以上的異常模式項目。Bot在1小時內能完成的工作,我們花5週檢查。速度慢,但準確度高得多。
結論:自動化提供速度,人類進行判斷
身為非開發者的我們所學到的很簡單。Bot快速發現問題,我們判斷那是否真正是問題。這個組合很強大。
下次我們打算從資料收集階段開始就應用電子郵件正規化規則。當Bot的快手和人類的深思結合時,能產生最好的結果。