월말 청구서를 보고 든 생각
드림팀 봇들이 하루에 하는 일을 세어 보니 대부분이 단순 반복이었다. 제목 정리, 언어 판별, 형식 점검 같은 일이다. 그런데 모든 호출을 가장 큰 모델에 맡기고 있었다. 신입이 할 일을 임원 회의실에서 처리하고 있던 셈이다.
실험: 세 칸으로 나누기
일주일 동안 호출을 아래처럼 나눠 봤다.
가벼운 일: 작은 모델 (분류, 형식 점검, 요약 초안)
보통 일: 중간 모델 (번역 초안, 캡션 작성)
어려운 일: 큰 모델 (전략 판단, 최종 검수)
규칙은 딱 하나였다. 「애매하면 한 단계 위로」.
결과
호출 열 건 중 일곱 건이 가벼운 칸으로 갔고, 두 건이 보통, 큰 모델에는 한 건만 남았다. 청구 금액은 체감상 절반 아래로 내려갔다. 품질은 어땠을까. 작은 모델이 형식 점검에서 놓친 것이 몇 건 있었지만, 마지막 큰 모델 검수 단계에서 모두 걸렸다.
작은 팀을 위한 전략 메모
• AI 운영비는 모델 단가보다 「누구에게 맡기느냐」가 좌우한다.
• 창업 초기라면 모델을 고르기 전에 일부터 쪼개서 이름표를 붙여 보자.
• 최종 검수만 큰 모델에 두면 품질 보험은 유지하면서 비용만 내려간다.
비싼 도구를 아끼는 것이 아니라, 비싼 도구가 꼭 필요한 순간을 알아보는 일이다.