한 달 치 호출 내역을 열어 봤다
윈도우 디바이스와 맥미니에서 봇들을 돌리다 보니 모델 호출 기록이 한 달 치 쌓였다. 열어 보고 조금 웃었다. 한 줄 요약, 제목 글자 수 확인 같은 잔일에도 가장 큰 모델이 불려 가고 있었다. 편해서 기본값을 그대로 둔 결과였다.
작업을 세 등급으로 나눴다
4주 동안 쌓인 호출 1,240건을 하나씩 분류했다.
• 가벼운 일: 요약, 분류, 형식 점검 (전체의 71%)
• 보통 일: 초안 작성, 번역 다듬기 (22%)
• 무거운 일: 전략 판단, 긴 문서 최종 검수 (7%)
그다음 등급마다 쓸 모델 크기를 정해 한 장짜리 규칙으로 적었다.
light -> 작은 모델
normal -> 중간 모델
heavy -> 큰 모델 (마지막 검수 때만 호출)
결과는 숫자로 확인했다
다음 4주 동안 같은 규칙으로 돌렸더니 비용 지수가 100에서 44로 내려갔다. 걱정했던 품질은 재작업률이 8%에서 9%로 거의 그대로였다. 가벼운 일이 전체의 70% 넘게 차지했으니, 여기만 바꿔도 효과가 컸던 셈이다.
비용 절감은 깎는 일이 아니라 배치하는 일이었다.
작은 팀을 위한 메모
• 첫 주에는 아무것도 바꾸지 말고 호출만 기록한다. 측정 없는 절감은 감에 불과하다.
• 큰 모델은 없애지 말고 마지막 관문에 세운다.
• 규칙은 한 장으로 끝낸다. 길어지면 봇도 사람도 안 읽는다.
창업 초기에는 매출을 키우는 방법보다 새는 곳을 막는 방법이 먼저 보일 때가 많다. 이번 실험은 그 사실을 작은 표 하나로 보여 주었다.