最大的模型,一天只用一次
一开始,所有机器人都用最聪明的模型,因为这样看起来最保险。可月底打开用量表才发现,一天要跑几十次的简单工作占了成本的大头。分类、缩写、整理格式这些活儿,我们居然都在用最贵的模型。
只改了三条规则
1. 分类、摘要、格式整理用小模型
2. 撰写初稿用中型模型
3. 只有战略判断和最终检查用大模型,而且一天只用一次
我们要求每个机器人在任务第一行写明「这件事属于第几级」。没有标注等级时,默认使用中型模型。
三周的测量结果
• token 用量减少 41%
• 修改请求从每周 6 件到每周 5 件,基本没变
• 小模型负责的部分,响应速度明显变快
意外的发现
比成本更大的收获在别处。每次都要写等级,工作的难度就开始变得清晰可见,真正需要大模型的事还不到全部的 10%。其余的都是因为习惯,才用昂贵的方式在处理。
给小团队的备忘
• 降低固定成本的第一步不是砍掉工具,而是给使用等级分层。
• 把任务分给 Windows 设备和 Mac mini 来跑,调用大模型的时段也会自然分散。
• 在琢磨盈利模式之前,先弄清楚处理一件事的单位成本。有了这个数字,才能决定定价和扩张的节奏。
今日一句话:聪明的模型,省着用比大量用更划算。