Help net security:GenAI 模型容易受到損害

近年來,人工智慧生成模型(GenAI)的發展突飛猛進,為各行各業帶來革命性的變革。然而,隨著這項技術的廣泛應用,其安全性問題也日益凸顯。根據Lakera公司的最新調查報告,GenAI模型極易受到攻擊,這一現象值得我們深思。

調查顯示,95%的網絡安全專家對GenAI的安全措施缺乏信心。這一數據令人震驚,尤其是考慮到90%的受訪者正在積極使用或探索GenAI技術。如此高的採用率與如此低的安全準備度之間的巨大差距,凸顯了當前GenAI應用面臨的嚴峻挑戰。

更令人擔憂的是,針對GenAI的攻擊方法 - 即所謂的"提示攻擊"(prompt attacks),竟然如此容易被普通人掌握和使用。這意味著幾乎任何人都可以通過精心設計的文字,操縱AI系統,從而獲取未經授權的訪問權限、竊取機密數據,甚至執行未經授權的操作。Lakera公司CEO David Haber指出,僅憑幾個巧妙編織的詞語,即使是新手也能輕易操縱AI系統,導致意外行為和數據洩露。

為了證實這一點,Lakera創建了一個名為Gandalf的AI教育遊戲。令人吃驚的是,超過100萬玩家參與了這個遊戲,其中20萬人成功完成了七個級別的挑戰。平均而言,玩家只需45分鐘就能突破Gandalf的第七級防禦。這個驚人的結果表明,在GenAI時代,每個人都可能成為潛在的黑客,企業必須採取全新的安全策略來應對這一挑戰。

調查還揭示了阻礙GenAI廣泛應用的主要障礙。35%的受訪者擔心大語言模型(LLM)的可靠性和準確性,34%關注數據隱私和安全問題,28%則擔憂缺乏具備相關技能的人才。儘管如此,GenAI的採用率仍然相當高,45%的受訪者正在探索GenAI的使用案例,42%已經在積極使用和實施GenAI。

然而,企業對GenAI特定威脅的準備程度仍然不足。只有22%的受訪者採用了針對AI的特定威脅建模。不同行業之間的準備程度和安全措施採用情況也存在顯著差異。例如,金融業表現出更高的安全意識,20%的金融機構擁有專門的AI安全團隊。相比之下,教育行業在這方面明顯落後,只有9%的機構設有專門的AI安全團隊。

面對這些挑戰,企業和組織需要重新審視其GenAI策略。首先,必須提高對GenAI安全風險的認識,並將安全考慮納入技術採用的每個階段。其次,需要投資於專門的AI安全人才和技術,以應對新興的威脅。再者,行業間應加強合作與經驗分享,共同提高整體安全水平。

最後,政府和監管機構也應該積極參與,制定相關政策和標準,為GenAI的安全應用提供指導和保障。只有各方共同努力,才能在享受GenAI帶來的創新與效率的同時,有效管控其潛在風險,實現技術與安全的平衡發展。

詳情請看:

GenAI models are easily compromised

Posted in  on 8月 31, 2026 by Kevin |