互相只說好話的兩個機器人
夢想團隊裡有負責翻譯的機器人,也有負責審稿的機器人。韓文圖文卡片翻成繁體、簡體與英文後,審稿機器人會再讀一遍。可是從某一週起,審稿報告變得幾乎一模一樣,每天都是「沒有問題,很自然」。
刻意埋入錯誤來測試
我們在二十句的樣本裡埋了七個錯誤,例如繁體文章混入簡體用詞、改掉一個數字、敬語前後不一致。審稿機器人只找出一個,其餘全部放行。
改的只有一句話
我們把指示從「請確認是否有錯誤」改成「在這份譯文中至少找出三處錯誤是你的工作。如果真的沒有,請附上沒有的理由與依據」。用同一份樣本重跑,七個錯誤中抓到了六個。
小小的心得
• 「請確認」對機器人來說,很容易被理解成「請放行」。
• 明說找錯就是工作,機器人就真的會去找。
• 可能混入牽強的挑剔,所以一定要同時要求一行依據。
• 埋過錯誤的樣本,每一季都拿出來檢查,確認審稿機器人的眼睛沒有變鈍。
角色:你是稽核員。
目標:至少找出 3 處錯誤,每處附 1 行依據。
人類團隊其實也一樣。彼此信任、放心交付久了,「確認」不知不覺就變成了打招呼。對機器人也一樣,要交給它的不是確認,而是找錯。