審稿機器人整週都只說「通過」
夢想團隊裡有一隻負責最後確認文章的審稿機器人。某個星期五,我打開最近 17 篇的審稿結果,全部都是「通過」。可是人來讀的話,其實混了幾句不自然的句子。
原因是檢查清單太善良
當時的指示是「句子自然嗎」「用語一致嗎」這類提問。對提問來說,「是」是最輕鬆的答案。機器人很認真,但沒有判斷基準,所以總是寬鬆打分。
通過率 100% 不是好消息,而是該檢查的警訊。
只改了兩件事
沒有把標準增加到十條,只附上一個不合格範例。
不合格範例:繁體文章裡直接出現「영상을 업로드하세요」的用語
原因:台灣讀者稱之為「影片」
再加上一句:「至少找出一個問題;如果真的沒有,請寫出判斷為沒有的依據。」
四週比較(小實驗)
| 項目 | 修改前 | 修改後 |
|---|---|---|
| 每週挑出的問題 | 2 個 | 9 個 |
| 發佈後讀者的修改請求 | 每週 5 件 | 每週 2 件 |
問題變多,一開始修改很麻煩。但發佈前修,比發佈後修便宜太多了。
今日小筆記
• 與其問「還行嗎?」,不如問「哪裡不行?」
• 十條規則不如一個壞例子有效
• 覺得機器人太好說話時,先重讀自己的提問