只需影像就足夠了
上週我們團隊啟動了一項實驗。買方發來的訂單採取多種格式。有些是螢幕截圖,有些是手機拍攝的照片,有些是陳舊的 PDF。團隊成員需要手動閱讀這些影像並輸入試算表。
「這個也能自動化吧?」的疑問由此而生。
Claude Code + Vision API 的組合
將 Vision API 連接到 Claude Code 後,令人驚嘆的事情發生了。上傳訂單影像,AI 自動執行:
• 識別商品名、數量、顏色、尺寸
• 提取配送地點(國家、地址)
• 掌握交貨日期、特殊要求
• 透過 Google Sheets API 直接輸入試算表
首次測試的準確度達到 94%。其餘 6% 是筆跡模糊或語言混合的情況。
所需時間對比
| 作業 | 手動處理 | 自動化後 |
|------|---------|----------|
| 處理 1 份訂單 | 8~12 分鐘 | 45 秒 |
| 日均訂單量 | 約 4 小時 | 30 分鐘 |
| 錯誤修正時間 | 每日發生 | 週 2 次左右 |
預期外的收穫
最令人驚訝的是附帶效果。
1. **打字錯誤減少**:人工輸入時的筆誤消失了。
2. **時間無關處理**:上傳影像後,系統可以通宵自動處理,早上出勤時結果已準備好。
3. **資料一致性**:所有訂單都被標準化為相同格式,便利後續分析。
也有失敗的時刻
起初無法區分混合了中文、英文、韓文的訂單。我們在 Claude 的提示詞中加入「識別所有語言,但按欄位分離各語言」,問題得以解決。
此外,含有手寫內容的訂單準確度約為 70%,我們設定自動標記以提醒團隊。
現在的工作流程
訂單影像 → Claude Code (Vision) → 自動識別 →
Google Sheets 輸入 → Slack 通知 → 團隊檢查 (1 分鐘) → 完成
遺留的問題
縱使自動化程度如此,仍需人工介入的部分存在。100% 準確辨識特殊要求(如「希望另加 6 份樣品」),以及從零開始學習新買方的訂單格式。
下一步是將這些錯誤資料轉化為學習迴路,使模型自我改進準確度。雖然還在初期階段,但我們團隊的日常已然改變。