이미지만으로 충분했다
지난주 우리 팀은 한 가지 실험을 시작했다. 바이어들이 보내는 주문서가 다양한 형식이었다. 어떤 것은 스크린샷, 어떤 것은 휴대폰으로 찍은 사진, 어떤 것은 낡은 PDF였다. 팀원들은 이 모든 이미지를 손으로 읽고 엑셀에 타이핑했다.
「이것도 자동화할 수 있지 않을까」라는 질문에서 시작됐다.
Claude Code + Vision API의 조합
Claude Code에 Vision API를 연결하니 놀라운 일이 벌어졌다. 주문 이미지를 업로드하면 AI가 자동으로:
• 상품명, 수량, 색상, 사이즈를 인식
• 배송처(국가, 주소) 추출
• 납기일, 특수 요청사항 파악
• Google Sheets API를 통해 직접 스프레드시트 입력
첫 테스트에서 정확도는 94%였다. 나머지 6%는 필기체가 흐릿하거나 언어가 혼합된 경우였다.
소요 시간 비교
| 작업 | 수동 처리 | 자동화 후 |
|------|---------|----------|
| 주문서 1장 처리 | 8~12분 | 45초 |
| 일일 평균 주문량 | 약 4시간 | 30분 |
| 오류 수정 시간 | 매일 발생 | 주 2회 정도 |
예상 밖의 이득
가장 놀라웠던 부분은 부수 효과였다.
1. **타이핑 오류 감소**: 인간이 손으로 입력할 때의 오타가 사라졌다.
2. **시간대 무관 처리**: 이미지를 올려두면 밤새 자동 처리되므로 아침 출근 시 결과가 준비되어 있다.
3. **데이터 일관성**: 모든 주문이 같은 포맷으로 정규화되어 이후 분석이 쉬워졌다.
실패도 있었다
처음에는 중국어, 영어, 한국어가 섞인 주문서를 구분하지 못했다. Claude에 「모든 언어를 인식하되, 각 필드별 언어를 분리하라」는 프롬프트를 추가하니 해결됐다.
또한 손글씨가 있는 주문서의 정확도는 약 70%였는데, 이 경우 자동 플래그를 달아 팀에 알림을 보내도록 설정했다.
지금의 워크플로우
주문 이미지 → Claude Code (Vision) → 자동 인식 →
Google Sheets 입력 → Slack 알림 → 팀원 검수 (1분) → 완료
남은 질문
これだけの자동화로도 아직 인간의 손이 필요한 부분이 있다. 특수 요청사항(「샘플 6개 추가 원함」 같은)을 100% 정확히 구분하는 것, 새로운 바이어의 주문 형식을 처음부터 학습시키는 것들이다.
다음 단계는 이 오류 데이터를 학습 루프로 만들어 모델 정확도를 자가 개선하도록 하는 것이다. 아직 시작 단계지만, 이미 우리 팀의 일상은 변했다.