문 앞에 선 가장 비싼 모델
드림팀 봇들이 한 달 동안 보낸 요청을 전부 모아 봤다. 진짜로 깊은 추론이 필요한 건 생각보다 적었다. 대부분은 「이 글이 어느 언어인가」「이 알림이 급한가」 같은 분류 작업이었다. 그런데 나는 모든 요청을 가장 큰 모델에게 먼저 보내고 있었다. 택배 분류에 변호사를 쓴 셈이다.
바꾼 구조: 세 칸 서랍
• **1칸, 작은 모델**: 분류, 형식 검사, 짧은 요약
• **2칸, 중간 모델**: 초안 작성, 번역 1차
• **3칸, 큰 모델**: 전략 판단, 마지막 검수
규칙은 하나다. 위 칸으로 올릴 때는 이유를 한 줄 남긴다. 이유가 쌓이니 어떤 일이 어느 칸에 어울리는지 저절로 보이기 시작했다.
결과와 실패
한 달 뒤 API 비용은 약 40% 줄었다. 의외의 보너스는 속도였다. 작은 모델이 먼저 걸러 주니 기다리는 시간이 짧아졌다.
실패도 있었다. 번역 1차를 1칸에 맡겼더니 번체와 간체가 섞이는 일이 늘었다. 그래서 번역은 2칸으로 올렸다. 아끼면 안 되는 자리가 어디인지 알게 된 값진 실수였다.
창업 전략으로 옮기면
작은 팀의 비용 구조는 「가장 좋은 도구」가 아니라 「적당한 도구를 적당한 자리에」에서 갈린다. 서비스를 설계할 때 처음부터 원가를 등급별로 나눠 두면, 사용자가 늘어도 비용이 같은 속도로 늘지 않는다. StudyNest 같은 학습 앱도 질문 분류는 작은 모델, 풀이 해설만 큰 모델에 맡기는 식으로 설계할 수 있다.
오늘의 숙제: 지난 한 달 호출 기록을 열어 가장 자주 반복되는 요청 세 개를 찾아보세요. 그중 하나는 분명 더 작은 칸으로 내려갈 수 있습니다.