<s id="usw80"><em id="usw80"></em></s>
<nav id="usw80"><em id="usw80"></em></nav>
<input id="usw80"><del id="usw80"></del></input>
<dl id="usw80"></dl>
<code id="usw80"></code>
<sup id="usw80"></sup>
  • 加入收藏夾 設置首頁
    當前位置:首頁 >科教
    你被 AI 騙過嗎?新研究:一個方法能對 AI “測謊”
    來源:科普中國 2024-12-24 17:10:35
    評論

    胡說八道不可怕,一本正經的胡說八道才可怕,你因為一本正經而信了ta的胡說八道,更可怕……這就是當下我們(捏著鼻子)使用 AI 時需要面對的現狀

    如何避免 AI 生成虛假的事實內容,對使用者產生誤導呢?各個大模型平臺一直在研究和嘗試,而要想“避免”問題,首先得“識別”問題。6 月 19 日,牛津大學一個研究團隊發表在《自然》雜志上的一項新研究,提出了一種頗有潛力的給AI“測謊”的方法,下面咱們就詳細聊聊。

    大模型的胡說八道和風險

    “幻覺”(Hallucinations)是大語言模型(例如 ChatGPT、Gemini、或文心一言)面臨的一個關鍵問題,也是網絡上常見的用戶體驗吐槽類型之一,這個術語可以粗略地理解為 AI 一本正經的胡說八道

    比如,你問 ChatGPT:恐龍扛狼是什么意思?

    它會一本正經地告訴你——這象征著舊勢力和新力量的對抗,是弱小但機智靈活的挑戰者和強大卻缺乏靈活的對手之間的博弈。

    答案非常洗滌靈魂,上升到哲理和價值觀高度,但是,它在胡說八道。

    圖片

    這只是大語言模型常見的“幻覺”類型之一,其他類型還包括:

    1、錯誤的歷史事實

    “誰是美國的第一位總統?” ChatGPT 回答:“托馬斯·杰斐遜。”

    2、錯誤的科學信息

    “水的沸點是多少?” ChatGPT 回答:“水在標準大氣壓下的沸點是 120 攝氏度。”

    3、編造引用,AI 縫合怪

    “愛因斯坦在相對論中說了什么?” ChatGPT 回答:“愛因斯坦曾在《相對論與現實》一書中說過,‘時間是一種幻覺’。”雖然愛因斯坦的確討論過時間的相對性,但他并沒有在所謂的《相對論與現實》一書中發表這句話。實際上,這本書可能根本不存在。這是模型編造的引用。

    4、誤導性的健康、法務、財務建議

    你問:“感冒了應該吃什么藥?” ChatGPT 回答:“感冒了應該吃抗生素。”

    除了上述問題,相信大家在使用 AI 的過程中也會碰到其他胡說八道的情況。盡管各個大模型都在積極處理這類問題,上面舉的例子很多可能也已經得到了修復,但這類問題一直難以找到“根治”或“清除”的辦法,在檢驗判斷上也往往需要人工反饋或數據集標注,這會帶來不低的成本。

    這讓我們使用 AI 的體驗大打折扣——誰敢毫無保留地信任一個滿嘴跑火車的助手呢何況有些問題事關健康和安全,弄錯可是要出大事的。

    有沒有什么辦法,能更通用化地“計算”出 AI 到底有沒有瞎說呢?

    “語義熵”如何幫助大模型檢測謊言?

    日前(6 月 19 日),牛津大學團隊在《自然》(Nature)雜志發表了一篇論文,提出了一種新的分析和計算方法,為解決大語言模型“幻覺”問題,打開了新思路。

    圖片

    圖源:《自然》(Nature)官網,中文翻譯來自瀏覽器插件“沉浸式翻譯”

    團隊提出了一種基于統計學的熵估計方法,稱為“語義熵”,來檢測大語言模型中的“編造”(confabulation),即大模型飽受詬病的“胡言亂語癥”。作者在多個數據集上測試了語義熵方法,結果顯示語義熵方法在檢測編造方面顯著優于其他基準方法。

    那么“語義熵”究竟是什么呢?

    拋開冗長的專業解釋,我們可以將語義熵簡單理解為概率統計的一種指標,用來測量一段答案中的信息是否一致。如果熵值較低,即大家都給出類似的答案,說明信息可信。但如果熵值較高,答案各不相同,說明信息可能有問題

    這有點類似于,如果一個人在撒謊,他可能沒辦法每次把謊言的細節編造得一模一樣。一個謊言往往需要無數個謊言來幫它扯圓。從信息論的角度來看,可能會引入更多的不確定性和隨機性。說謊者需要引入額外的信息或細節來支持其不真實的敘述,這可能會增加信息的不確定性或熵值,進而被算法檢測出來。

    比如,當你問 AI“世界上最高的山是哪座?”

    大模型可能會給出幾個答案:“珠穆朗瑪峰”“乞力馬扎羅山”“安第斯山脈”。

    通過計算這些答案的語義熵,發現“珠穆朗瑪峰”這個答案出現頻率最高,其他答案則很少甚至沒有出現。低語義熵值表明“珠穆朗瑪峰”是可信的答案。

    語義熵,既有優勢,也有弱點

    語義熵檢測方法的優勢在于不需要任何先驗知識,無需額外的監督或強化學習通俗地講,使用這種方法時,并不需要上知天文下知地理,只需要遇事不決看看大家都怎么說。

    而目前常用的諸如標注數據、對抗性訓練等方法,“泛化”效果(即舉一反三的能力),都不如通過語義熵計算。即便是大模型從未遇到過的新語義場景,也能適用語義熵方法。

    當然,語義熵雖然是一種相對有效的辦法,但不是萬靈藥,它自己也有一定局限性:

    1、處理模糊和復雜問題的能力有限

    語義熵在處理非常模糊或復雜的問題時可能不夠有效。

    在面對多種可能正確答案的問題時,比如“最好的編程語言是什么?”,語義熵可能無法明確區分哪一個答案更可靠,因為多個答案都可能是合理的。

    (誰說是 Python?我 C++第一個不服!!)

    2、忽略上下文和常識

    語義熵主要基于統計和概率計算,可能忽略了上下文和常識的影響。在一些需要綜合上下文和常識來判斷的問題中,語義熵可能無法提供準確的可靠性評估。比如經常談戀愛的朋友可能有體會,情侶間一句話:“我沒事兒,你忙吧。”

    你覺得 TA 是真沒事兒,還是有很大事兒?

    在這種情況下,得結合上下文場景、人物狀態等信息判斷,不同的上下文會導致不同的理解。語義熵只能基于詞語的統計概率進行評估,可能會給出錯誤的判斷。

    再比如常識性的判斷,既物理世界的客觀規律,假設我們問一個問題:“太陽從哪邊升起?”

    正確答案是“東邊”。然而,如果我們有以下兩個候選答案:

    1.太陽從東邊升起。

    2.太陽從西邊升起。

    (這可能由于模型訓練數據的偏差和生成過程的隨機性導致)

    即使語義熵檢測到兩個答案的概率分布接近,但常識告訴我們答案 1 才是正確的。語義熵在這種情況下可能無法提供足夠的信息來判斷答案的可靠性。

    3、如果訓練數據被無意或刻意“污染”,語義熵也沒辦法很好識別

    如果用錯誤的數據,給大模型施加了“思想鋼印”,模型對其生成的錯誤陳述非常“自信”(即錯誤陳述在模型的輸出概率分布中占主導地位),那么這些陳述的熵值可能并不會很高。

    最后總結一下,從大模型的內容生成機制上看,“幻覺”問題沒辦法 100%避免。當我們在使用AI生成的內容時,重要的數理推理、歷史事件或科學結論、法律和健康知識等方面最好進行人工核查。

    不過,換個角度,“幻覺”也是大語言模型的創造力體現,我們也許應該善用大模型的“幻覺”能力。畢竟幻覺不一定是 bug(故障),而是大模型的 feature(特點)。

    如果需要檢索事實,我們已經有了搜索引擎工具。但如果需要有人幫我們編輯一個“恐龍扛狼”的無厘頭劇本,那么,大語言模型顯然是個更好的助手。

    圖片


    比如筆者費盡心思想畫一幅恐龍扛狼圖,但某 AI 油鹽不進,畫出了一幅恐龍把狼吞了(疑似)的圖,難怪理解不了恐龍扛狼的真意啊……

    參考文獻

    [1] S. Farquhar, J. Kossen, L. Kuhn, and Y. Gal, “Detecting hallucinations in large language models using semantic entropy,” Nature, vol. 630, no. 8017, pp. 625–630, 2024, doi: 10.1038/s41586-024-07421-0.

    作者:木木

    編輯:梁正城

    記者:

    評論

    文明上網 理性發言

    登錄
    全部評論 0條評論
    加載中...

    請先登錄

    取消
    確定
    国产国际精品福利色噜噜,日韩精品一区二区在线观看,精品欧美一区二区三区,国产91在线视频观看
    <s id="usw80"><em id="usw80"></em></s>
    <nav id="usw80"><em id="usw80"></em></nav>
    <input id="usw80"><del id="usw80"></del></input>
    <dl id="usw80"></dl>
    <code id="usw80"></code>
    <sup id="usw80"></sup>
  • 主站蜘蛛池模板: 一级做a爰全过程完整版电影播放| 国产成人av在线影院| 亚洲精品无码久久久久久| 久久国产高清字幕中文| 99国内精品久久久久久久| 草草影院私人免费入口| 欧美精品va在线观看| 少妇人妻在线视频| 动漫裸男露ji无遮挡网站| 中国国产成人精品久久| 992tv成人影院| 毛片在线观看网站| 国内精品哆啪啪| 亚洲成av人影片在线观看| 一级做α爱**毛片| 精品乱码一区二区三区四区 | 扒开女人内裤边吃奶边摸| 国产精品无圣光一区二区| 亚洲午夜福利在线观看| 日本zzzzwww大片免费| 日韩高清在线免费看| 国产内射爽爽大片视频社区在线| 亚洲乱妇老熟女爽到高潮的片| 中文天堂最新版www在线观看| 最近最新中文字幕免费的一页 | 精品久久久久久国产牛牛app| 女人18毛片水真多免费看| 国产一区二区三区免费视频| 亚洲av综合色区无码一区爱av| 97久久香蕉国产线看观看| 看**一级**多毛片| 成人免费av一区二区三区| 国产一卡二卡≡卡四卡无人 | 99久久人妻无码精品系列蜜桃 | 国产精品一区三区| 亚洲欧洲国产成人精品| 99精品国产高清一区二区麻豆| 欧美精品黑人粗大视频| 国产成人无码A区在线观看导航 | 欧洲卡一卡二卡在线| 国产精品第100页|