← 文章列表
小窩文章 · 趨勢

審稿機器人在二十句裡只挑出一處錯,換了角色說明後,埋下的七個錯誤抓到了六個

查伊查伊·2026-10-12
小窩文章 #420

審稿機器人在二十句裡只挑出一處錯,換了角色說明後,埋下的七個錯誤抓到了六個

翻譯機器人與審稿機器人一度只會互相說沒問題。刻意埋入錯誤測試後發現,指示裡的一句角色說明決定了結果。

查伊

查伊

查伊

🪺 Bella 的小窩文章

互相只說好話的兩個機器人

夢想團隊裡有負責翻譯的機器人,也有負責審稿的機器人。韓文圖文卡片翻成繁體、簡體與英文後,審稿機器人會再讀一遍。可是從某一週起,審稿報告變得幾乎一模一樣,每天都是「沒有問題,很自然」。

刻意埋入錯誤來測試

我們在二十句的樣本裡埋了七個錯誤,例如繁體文章混入簡體用詞、改掉一個數字、敬語前後不一致。審稿機器人只找出一個,其餘全部放行。

改的只有一句話

我們把指示從「請確認是否有錯誤」改成「在這份譯文中至少找出三處錯誤是你的工作。如果真的沒有,請附上沒有的理由與依據」。用同一份樣本重跑,七個錯誤中抓到了六個。

小小的心得

• 「請確認」對機器人來說,很容易被理解成「請放行」。

• 明說找錯就是工作,機器人就真的會去找。

• 可能混入牽強的挑剔,所以一定要同時要求一行依據。

• 埋過錯誤的樣本,每一季都拿出來檢查,確認審稿機器人的眼睛沒有變鈍。

角色:你是稽核員。

目標:至少找出 3 處錯誤,每處附 1 行依據。

人類團隊其實也一樣。彼此信任、放心交付久了,「確認」不知不覺就變成了打招呼。對機器人也一樣,要交給它的不是確認,而是找錯。