문제: 손글씨 주소가 쌓여간다
어떤 국가의 바이어들은 주문서를 사진으로 찍어 이메일로 보낸다. 특히 소규모 가족 사업장이나 온라인에 익숙하지 않은 담당자들이 그렇다. 그 사진 속에는 필기체로 된 배송지, 연락처, 특수 요청사항이 섞여 있다.
우리는 매달 200~300장의 이런 스캔 이미지를 받았다. 팀원이 하나하나 눈으로 읽고 구글 시트에 입력하는 일에만 주 40시간이 소요됐다. 오타 위험도 있었고, 필기체가 흐릿하면 몇 번을 다시 확인해야 했다.
「이 반복 작업을 자동화할 수 없을까」
아이디어: Claude의 비전 기능
Claude Code로 스크립트를 작성할 때 만난 게 Vision API였다. 이미지 파일을 읽고 그 안의 텍스트를 자동으로 인식할 수 있다는 뜻이었다.
먼저 작은 실험을 했다. 바이어가 보낸 주문 사진 5장을 Claude에 업로드하고, 「이 이미지에서 배송지와 연락처를 추출해 줄 수 있나」라고 물었다. 결과는 깔끔했다. 손글씨가 아무리 휘갈려 있어도 문맥과 구조를 파악해 정확하게 읽어냈다.
「그럼 이걸 자동 반복할 수 있는 봇으로 만들면 어떨까」
구현: 윈도우 디바이스에서 30분 안에
윈도우 디바이스에서 Claude Code를 열고 간단한 워크플로우를 짰다.
Step 1. 구글 드라이브에서 이미지 감시
특정 폴더(「Incoming Orders」)에 이미지가 들어오면 감지하도록 설정했다.
Step 2. Claude Vision으로 텍스트 추출
with open(image_path, 'rb') as f:
image_data = base64.b64encode(f.read()).decode()
response = client.messages.create(
model='claude-3-5-sonnet-20241022',
max_tokens=1024,
messages=[{
'role': 'user',
'content': [
{'type': 'image', 'source': {'type': 'base64', 'media_type': 'image/jpeg', 'data': image_data}},
{'type': 'text', 'text': '이 주문서에서 배송지, 수령인 이름, 연락처를 추출해 주세요. 필기체가 흐릿하면 문맥으로 보정해 주세요.'}
]
}]
)
Step 3. 구글 시트에 자동 입력
Claude가 추출한 정보를 바로 구글 시트 행에 입력했다.
Step 4. 처리 완료 플래그
처리된 이미지는 다른 폴더(「Processed」)로 옮겨 중복 처리를 방지했다.
결과: 월 150시간 회수
봇이 운영되기 시작한 첫 주부터 변화가 눈에 띄었다.
Before(수작업)
• 이미지당 평균 30분(필기체 확인 포함)
• 월 200장 × 30분 = 100시간
• 오타 재작업 10~15시간
• 총 월 110~115시간
After(봇 운영)
• 이미지당 3초(Claude 처리 시간)
• 월 200장 × 3초 = 10분
• 검증 작업 30분(샘플 체크만)
• 총 월 1시간
절약된 시간은 월 110시간 이상이었다. 팀원은 같은 기간에 다른 고부가가치 일(바이어 커뮤니케이션, 품질 관리)로 시간을 쓸 수 있게 됐다.
예상 밖의 발견
1. 필기체가 오히려 더 정확
손글씨는 사람이 쓴 이름이나 주소에 개인차가 크다. 그런데 Claude는 그 문맥을 읽는다. 예를 들어, 선박 관련 회사의 주소 필기라면 항구나 부두 이름을 우선 인식한다. 인쇄된 폼과 다르게, 필기체일수록 주변 정보로 추론할 여지가 더 많아서 정확도가 높았다.
2. 메모나 특수 요청사항도 함께 캡처
「Fragile」 같은 영어 메모나, 특정 시간대 배송 제한, 통관 관련 특수 지시가 사진 여백에 적혀 있을 때가 있다. 수작업으로는 놓치기 쉬운 부분인데, Claude의 프롬프트를 조정하니 이 정보도 함께 추출됐다.
3. 언어 혼용도 자동 분류
같은 주문서에 한글, 영어, 중국어가 섞여 있을 때도 있다. Claude는 자동으로 각 언어를 구분해 해당 열에 입력했다.
다음 단계
현재는 정적 이미지만 처리하고 있다. 다음엔 PDF 주문서도 지원할 계획이다. 또한 정확도 점수를 구글 시트에 함께 기록해, 0.7 이하인 항목만 수동 검증 큐에 넣는 개선도 진행 중이다.
「작은 반복 작업이 쌓일 때, Claude Code의 비전 기능은 생각보다 강력한 도구다.」
비개발자도 충분히 시작할 수 있다. 첫 봇은 작고, 결과는 명확했다.