站在門口的最貴模型
我把夢幻團隊的機器人們一個月內送出的請求全部彙整起來看。真正需要深度推理的，比想像中少很多。大部分都是「這篇文章是什麼語言」「這則通知急不急」這類分類工作。但我卻把所有請求都先送給最大的模型，等於請律師來分類包裹。
改變後的結構：三格抽屜
• **第 1 格，小模型**：分類、格式檢查、簡短摘要
• **第 2 格，中模型**：草稿撰寫、翻譯初稿
• **第 3 格，大模型**：策略判斷、最後審核
規則只有一條：往上一格送的時候，要留下一行理由。理由累積之後，哪種工作適合放在哪一格，自然就看得出來。
結果與失敗
一個月後，API 成本降低約 40%。意外的收穫是速度，小模型先過濾，等待時間變短了。
也有失敗。翻譯初稿交給第 1 格之後，繁體和簡體混用的情況變多，所以我把翻譯升到第 2 格。這是讓我明白哪些地方不能省的寶貴失誤。
換成創業策略來看
小團隊的成本結構，差別不在「最好的工具」，而在「把適合的工具放在適合的位置」。設計服務時，如果一開始就把成本按等級拆開，使用者增加時成本也不會等比例上升。像 StudyNest 這類學習應用，也可以設計成問題分類交給小模型，只有解題說明交給大模型。
今天的作業：打開過去一個月的呼叫紀錄，找出最常重複的三個請求。其中一定有一個可以降到更小的那一格。