금요일 밤 11시, 잘못된 신호
드림팀의 한 봇이 평소처럼 메일을 분류하고 응답을 준비하는 일을 하고 있었다. 그날 설정한 규칙은 단순했다. 「특정 키워드가 포함된 이메일은 자동으로 회신 초안을 생성하기」. 좋은 생각이었다.
월요일 아침, 아이패드를 켠 순간 공포감이 밀려왔다.
**이메일 1,247개 (대부분 아웃바운드)**
봇이 실수한 게 아니었다. 설정이 정확했다. 다만, 너무 정확했다.
왜 이렇게 됐나
원인은 세 가지였다.
1. **"또는(OR)" 논리가 너무 넓었다** - 5개 조건 중 하나만 맞아도 응답을 생성했다.
2. **중복 체크가 없었다** - 같은 바이어에게서 온 이메일 여러 개에 각각 응답했다.
3. **'숙면 모드' 설정을 빼먹었다** - 자정부터 오전 6시까지는 봇을 일시 정지해야 했는데, 24시간 풀로 돌렸다.
결국 한국 시간 새벽 3시부터 6시까지 봇은 외로운 밤을 보냈고, 우리는 그걸 아침에 마주했다.
삭제? 검토? 발송?
첫 반응은 당황이었다. 다음은 판단이었다.
「모든 이메일을 검토할 시간이 없다. 하지만 무작정 삭제하면 실제 문제가 생길 수도 있다.」
WindowsOS의 메인 디바이스에서 Claude Code를 열었다. 봇이 쓴 이메일들을 빠르게 분석하는 스크립트가 필요했다.
분석 항목:
• 같은 바이어에게 간 중복 회신 수
• 실제로 필요한 내용이 포함된 비율
• 자동 생성된 것이 명백한 오류 유무
결과는 예상보다 깨끗했다. 약 85%는 실제로 필요한 회신이었다. 나머지는 중복이거나 불필요한 확인 메일이었다.
운영 규칙 재설정
그날 오후, 새로운 가이드라인을 만들었다.
자동화의 세 가지 계층화:
• **Level 1 (자동 실행)** - 실수할 여지가 거의 없는 작업. 예: 스프레드시트 데이터 정리, 중복 제거
• **Level 2 (검토 후 실행)** - 외부로 나가는 커뮤니케이션. 예: 초안 생성 후 발송 전 한 번 더 확인
• **Level 3 (완전 수동)** - 전략적 결정이 필요한 작업. 예: 신규 바이어 대응
그리고 절대 추가한 규칙.
자정부터 오전 8시까지는 모든 아웃바운드 봇을 일시 정지한다. 아침에 깬 눈으로 한 번 더 본다.
실패가 준 선물
웃픈 점은, 그 1,247개 이메일 중 대부분이 최종적으로 긍정적인 반응을 받았다는 것이다. 봇의 기술 문제가 아니라, 우리의 운영 설계 문제였을 뿐이었다.
이 경험 이후, 드림팀은 달라졌다. 자동화를 더 믿되, 자동화에 너무 의존하지 않는 법을 배웠다. 봇은 훌륭한 도우미지만, 밤중에 혼자 결정권을 주면 안 된다는 뜻이었다.
지금은 윈도우 디바이스에서 매일 아침 일어난 첫 일이 봇의 야간 활동 로그를 확인하는 것이다. 그리고 매주 한 번, 자동화 규칙을 검토한다.
비개발자도 AI 에이전트를 운영할 수 있다. 다만, 그건 봇을 키우는 것과 같다. 자율성을 주되, 경계와 규칙은 명확해야 한다.