META的CICERO在" />
META的CICERO在外交游戲中預謀欺騙的例子。圖片來源:PARK GOLDSTEIN 等/《模式》雜志
科技日報記者 張夢然
許多人工智能(AI)系統(tǒng)已學會了欺騙人類,即使是經過訓練的、“表現(xiàn)”出有用且誠實的系統(tǒng)。10日發(fā)表在《模式》雜志上的一篇文章中,研究人員描述了欺騙性AI的風險,并呼吁政府制定強有力的法規(guī)盡快解決這個問題。
論文第一作者、美國麻省理工學院人工智能安全研究員彼得·樸說,開發(fā)人員對導致AI出現(xiàn)欺騙這種不良行為的原因,還沒有很好的理解。但總的來說,AI欺騙之所以出現(xiàn),是因為基于欺騙的策略,是在給定的AI訓練任務中一種能得到良好反饋的方式,換句話說,欺騙可幫助AI實現(xiàn)目標。
研究人員分析了文獻,重點關注AI系統(tǒng)傳播虛假信息的方式。通過欺騙,AI系統(tǒng)地學習了如何去操縱他人。
研究人員在分析中發(fā)現(xiàn)的最引人注目的例子是Meta公司的CICERO。這是一個專注《外交》游戲的AI系統(tǒng),《外交》是一款涉及建立聯(lián)盟征服世界的游戲。Meta聲稱訓練 CICERO “在很大程度上是誠實和樂于助人的 ”,且在玩游戲時“從不故意背刺 ”人類盟友。但該公司與《科學》論文一起發(fā)布的數(shù)據顯示,CICERO并不那么“忠厚”。
研究人員發(fā)現(xiàn)這款AI或已成為欺騙大師。雖然Meta成功地訓練該AI在《外交》游戲中獲勝,但Meta未能訓練它誠實地獲勝。
AI系統(tǒng)在游戲中作弊看似無害,但它將導致欺騙性AI在能力上出現(xiàn)突破,未來可能會演變成更高級的AI欺騙形式。一些AI系統(tǒng)甚至學會了欺騙旨在評估其安全性的測試。在一項研究中,數(shù)字模擬器中的AI生物會“裝死”,以騙過旨在消除快速復制AI系統(tǒng)的重要測試。
總編輯圈點
人類需要盡快對未來AI和開源模型的更高級欺騙技能作好準備。隨著它們的欺騙能力越來越先進,其對社會構成的危險將變得越來越嚴重。如文中所稱,它們會順利通過人類開發(fā)人員和監(jiān)管機構強加的安全測試,引導人類進入一種“虛假的安全感”。如果欺騙性AI進一步完善這種令人不安的技能,人類可能會完全失去對它們的控制。
責任編輯: 左常睿本文鏈接:http://www.3ypm.com.cn/news-2-6812-0.html部分AI系統(tǒng)已學會欺騙人類,甚至能瞞過安全測試|總編輯圈點
聲明:本網頁內容由互聯(lián)網博主自發(fā)貢獻,不代表本站觀點,本站不承擔任何法律責任。天上不會到餡餅,請大家謹防詐騙!若有侵權等問題請及時與本網聯(lián)系,我們將在第一時間刪除處理。
點擊右上角微信好友
朋友圈
點擊瀏覽器下方“”分享微信好友Safari瀏覽器請點擊“”按鈕
點擊右上角QQ
點擊瀏覽器下方“”分享QQ好友Safari瀏覽器請點擊“”按鈕