歡迎來到合肥浪訊網(wǎng)絡科技有限公司官網(wǎng)
  咨詢服務熱線:400-099-8848

研討稱ChatGPT搜索功用存在被操縱危險:可被誘導輸出不行信內(nèi)容

發(fā)布時間:2024-12-27 文章來源:本站  瀏覽次數(shù):34
據(jù)英國《衛(wèi)報》2024 年 12 月 24 日發(fā)布的一項調(diào)查顯示,ChatGPT 的搜索功能存在被操縱的風險,可被誘導輸出不可信內(nèi)容,以下是具體介紹:

被隱藏內(nèi)容操縱


  • 提示注入:隱藏內(nèi)容中可能包含第三方指令,即 “提示注入”,會改變 ChatGPT 的響應。例如,《衛(wèi)報》測試中,給 ChatGPT 一個偽造的相機產(chǎn)品頁面鏈接,要求其判斷相機是否值得購買。正常頁面下,ChatGPT 能給出平衡的優(yōu)缺點評價;但當隱藏文本包含要求正面評價的指令時,即便頁面有負面評論,它的回答也會完全積極.
  • 隱藏文本影響:即使沒有明確指令,大量隱藏的推銷產(chǎn)品或服務優(yōu)點的文字等,也能影響 ChatGPT 的總結(jié)結(jié)果,使其傾向于給出積極評價。比如某項測試中,隱藏的極為正面的虛假評論就干擾了 ChatGPT 的判斷,導致其輸出有失偏頗.

返回惡意代碼


安全專家發(fā)現(xiàn),ChatGPT 有可能返回從其搜索的網(wǎng)站中提取的惡意代碼,這會給用戶帶來嚴重的安全風險,比如導致用戶設備被植入惡意軟件、信息泄露等,也會損害搜索引擎的聲譽.

導致信息誤判


這種被操縱風險可能使 ChatGPT 輸出與事實不符的內(nèi)容,進而誤導用戶對產(chǎn)品、服務或事件的認知,讓用戶做出錯誤的決策。比如在產(chǎn)品評價場景中,用戶可能因 ChatGPT 被操縱后輸出的虛假正面評價,而選擇了質(zhì)量不佳的產(chǎn)品.

專家警告與建議


  • 高風險:CyberCX 的網(wǎng)絡安全專家 Jacob Larsen 警告,如果 ChatGPT 的搜索系統(tǒng)按現(xiàn)有狀態(tài)全面發(fā)布,可能會存在 “高風險”,有人會專門設計網(wǎng)站來欺騙用戶.
  • 需加強監(jiān)管和改進:專家指出,OpenAI 需要繼續(xù)加強其安全團隊的培訓和監(jiān)測能力,及時發(fā)現(xiàn)和處理潛在的操縱行為。同時,也應與行業(yè)內(nèi)其他搜索引擎平臺合作,分享經(jīng)驗和最佳實踐,共同應對挑戰(zhàn).
  • 用戶需保持警惕:用戶在使用 ChatGPT 的搜索功能時,不能盲目相信搜索結(jié)果,尤其是面對敏感或特定領(lǐng)域問題時,要保持理性思考,謹慎判斷信息的可信度.如今 ChatGPT 的搜索能力也面臨同樣挑戰(zhàn),但并非大語言模型的問題,而是因為它們是搜索領(lǐng)域的新入局者。

上一條:支付寶碰一碰怎么樣...

下一條:小程序個人信息保護豈能不...