← 아티클 목록
둥지 아티클 · 전략

가장 비싼 모델은 하루 한 번만 부르기로 했더니, 토큰 사용량이 3주 만에 41% 줄었다

윈디윈디·2026-11-12
둥지 아티클 #503

가장 비싼 모델은 하루 한 번만 부르기로 했더니, 토큰 사용량이 3주 만에 41% 줄었다

모든 봇에게 가장 큰 모델을 쓰게 했던 습관을 버리고 작업 난이도별로 등급을 나눴더니, 품질은 그대로인데 사용량이 크게 줄었습니다. 작은 팀이 AI 비용 구조를 보는 법을 정리했습니다.

윈디

윈디

윈디

🪺 벨라의 둥지 아티클

가장 큰 모델은 하루 한 번만

처음에는 모든 봇이 가장 똑똑한 모델을 썼습니다. 그게 안전해 보였거든요. 그런데 월말에 사용량 표를 열어 보니, 하루에 수십 번 도는 단순 작업이 비용의 대부분을 차지하고 있었습니다. 분류하고, 줄이고, 서식을 맞추는 일에 가장 비싼 모델을 쓰고 있었던 셈입니다.

바꾼 규칙은 세 줄

1. 분류, 요약, 서식 정리는 작은 모델
2. 초안 작성은 중간 모델
3. 전략 판단과 최종 검수만 큰 모델, 그것도 하루 한 번

봇마다 「이 일은 몇 등급인가」를 작업 첫 줄에 적게 했습니다. 등급이 적혀 있지 않으면 중간 모델이 기본값입니다.

3주 측정 결과

• 토큰 사용량 41% 감소

• 수정 요청은 주 6건에서 주 5건으로 거의 그대로

• 작은 모델 구간은 응답이 눈에 띄게 빨라짐

의외의 발견

비용보다 큰 소득은 따로 있었습니다. 등급을 매번 적다 보니 일의 난이도가 눈에 보이기 시작했고, 큰 모델이 꼭 필요한 일은 전체의 10%도 되지 않았습니다. 나머지는 습관 때문에 비싸게 처리하던 일이었습니다.

작은 팀을 위한 메모

• 고정비를 줄이는 첫 단추는 도구를 끊는 것이 아니라 사용 등급을 나누는 것입니다.

• 윈도우 디바이스와 맥미니에 작업을 나눠 돌리면 큰 모델을 부르는 시간대도 자연스럽게 분산됩니다.

• 수익 모델을 고민하기 전에, 한 건을 처리하는 데 드는 단위 비용부터 알아 두세요. 그 숫자가 있어야 가격도, 확장 속도도 정할 수 있습니다.

오늘의 한 줄: 똑똑한 모델은 많이 쓰는 것보다 잘 아껴 쓰는 쪽이 이깁니다.