因為太自然,所以更危險的數字
負責寫文章草稿的機器人有個小習慣:把依據資料裡沒有的數字自然地塞進句子。例如「約改善 30%」,可原始筆記裡根本沒有 30%。句子太順,審稿時好幾次差點直接放行。
只改了一行
我們在指示文最下方加了這句話。
資料中沒有的數字與專有名詞一律不寫。若不確定,請以 [確認必要] 留白。
重點是不只說「不要寫」,同時給出「改成這樣做」。只有禁止,機器人會繞路;給了替代做法,它就會照做。
Before / After
用同樣的二十份資料,各生成兩次草稿來比較。
• **Before**:含有無來源數字的草稿 7 篇
• **After**:1 篇,其餘都以 [確認必要] 標記留下
• **審稿時間**:每篇平均從 6 分鐘降到 4 分鐘(只看有標記的地方即可)
意外的發現
出現空白後,文章變得沒那麼流暢。但對修改的人來說輕鬆許多。坦白的空白,比流暢的謊言更容易修。另外,同一份指示文,Mac mini 上的機器人常常留白,Windows 裝置上的機器人留得較少。不同的模型設定,謹慎程度也不同。
今日整理
1. 禁止規則一定要搭配替代行為
2. 空白標記統一成可搜尋的單一格式
3. 把 [確認必要] 的出現次數當作每週指標
防止編造最便宜的方法,就是給機器人一個可以說「不知道」的位置。