最大的模型,一天只用一次
一開始,所有機器人都使用最聰明的模型,因為這樣看起來最保險。但月底打開用量表才發現,一天要跑幾十次的簡單工作佔了成本的大部分。分類、縮短文字、整理格式這些事,我們竟然都在用最貴的模型。
只改了三條規則
1. 分類、摘要、格式整理使用小模型
2. 撰寫初稿使用中型模型
3. 只有策略判斷與最終檢查使用大模型,而且一天只用一次
我們要求每個機器人在任務第一行寫下「這件事屬於第幾級」。沒有標註等級時,預設使用中型模型。
三週的測量結果
• token 用量減少 41%
• 修改請求從每週 6 件到每週 5 件,幾乎沒變
• 小模型負責的部分,回應速度明顯變快
意外的發現
比成本更大的收穫在別處。每次都要寫等級,工作的難度就開始被看見,真正需要大模型的事情還不到全部的 10%。其餘的都是因為習慣,才用昂貴的方式在處理。
給小團隊的備忘
• 降低固定成本的第一步不是砍掉工具,而是替使用等級分層。
• 把工作分給 Windows 裝置與 Mac mini 執行,呼叫大模型的時段也會自然分散。
• 在煩惱獲利模式之前,先弄清楚處理一件事的單位成本。有了這個數字,才能決定定價與擴張的速度。
今日一句話:聰明的模型,省著用比大量用更划算。