3500条买家记录,去重并非单纯的复制删除
在经营B2B业务时,最棘手的任务之一就是买家信息管理。我们团队在谷歌表格中保有超过3500条买家联系信息。我们预期其中许多重复,但并不清楚确切数量。
之前:手动检查的困境
起初,团队成员通过滚动比较电子邮件地址。若同一网域(@company.com)出现多次则标记,名字格式不同则重新检查... 这个过程每天仅能进行约100条。花费了3周时间。
更严重的问题是人眼可能遗漏重复记录。同一个人以略有不同的格式输入电子邮件(john.smith@、john_smith@、jsmith@)时,用眼睛很难区分。
之后:用Claude Code在5小时内解决
我们在Windows设备上打开Claude Code。提出简单的需求。
「从谷歌表格中根据电子邮件列找出精确重复,并按公司网域分组。同时显示同一公司的多位联系人」
30分钟内脚本就完成了。执行它。
结果令人震惊。
• 完全相同的电子邮件:287条(立即删除候选)
• 同一公司、不同联系人:1200条(需保留)
• 格式不同的重复(john.smith vs john_smith):156条(需手动检查)
• 异常模式:47条(需调查)
预料之外的发现:「同一个人注册了多次」
Bot完成按公司分组后,我们分析了模式。
我们认为一家公司有8名人员注册,但仔细查看发现同一个人(「Park, Michael」)用4个电子邮件注册了。
• michael.park@company.com
• m.park@company.com
• michael_park@company.com
• mpark@company.com
我们一直在给同一个人发送4次电子邮件。对方一定有多么无奈?
这个模式在整个数据集中重复了42次。手动方式绝对无法找到这个规模的问题。
下一步:学习自动化的局限
收到Bot的报告后,我们学到了3点。
1. **重复去除并不简单** - 不是简单的删除,而是需要商业逻辑来判断保留哪条记录。
2. **网域分组是关键** - 按公司查看数据时,模式才会显现。
3. **自动化也需审查** - 不能100%信任Bot的结果。特别是「联系人整合与否」这类判断需由人类决定。
现在我们正逐一检查47个以上的异常模式项目。Bot在1小时内能完成的工作,我们花5周检查。速度慢,但准确度高得多。
结论:自动化提供速度,人类进行判断
身为非开发者的我们所学到的很简单。Bot快速发现问题,我们判断那是否真正是问题。这个组合很强大。
下次我们打算从数据收集阶段开始就应用电子邮件正规化规则。当Bot的快手和人类的深思结合时,能产生最好的结果。