近期的研究發現,Hugging Face等人工智能(AI)即服務供應商存在兩大關鍵風險,可能使威脅參與者提升權限,獲取其他客戶模型的跨租戶訪問權限,甚至控制持續集成和持續部署(CI/CD)管道。
Wiz公司的研究人員Shir Tamari和Sagi Tzadik表示,「惡意模型對於AI系統來說是一大風險,尤其是對於AI即服務供應商,因為潛在的攻擊者可能利用這些模型進行跨租戶攻擊。」「攻擊者可能會訪問存儲在AI即服務供應商中的數百萬個私有AI模型和應用程序,這將造成毀滅性的影響。」
隨著機器學習管道成為全新的供應鏈攻擊向量,Hugging Face等代碼庫成為設計對抗性攻擊以竊取敏感信息和訪問目標環境的有吸引力的目標。這些威脅源於共享推理基礎設施的接管和共享CI/CD管道的接管。
這使得攻擊者能夠在服務上運行上傳的不受信任的Pickle格式模型,並利用容器逃逸技術從自身租戶突破,危害整個服務,從而獲得對其他客戶模型的跨租戶訪問權限。
研究人員解釋說,「即便Hugging Face認為這個模型很危險,它仍然會讓用戶在平台基礎設施上進行推理。」這實質上允許攻擊者構造具有任意代碼執行能力的PyTorch(Pickle)模型,並將其與Amazon Elastic Kubernetes Service(EKS)中的配置錯誤相結合,以提升權限並在集群內部橫向移動。
研究人員表示,「我們獲得的秘密可能會對平台造成重大影響,如果落入惡意行為者手中。共享環境中的秘密通常會導致跨租戶訪問和敏感數據洩露。」
為了緩解這一問題,建議啟用具有跳躍限制的IMDSv2,以阻止容器訪問實例元數據服務(IMDS)並獲取集群內節點的身份。
研究還發現,當在Hugging Face Spaces服務上運行應用程序時,可以通過特殊設計的Dockerfile實現遠程代碼執行,並用它來拉取和推送(即覆蓋)內部容器註冊表上可用的所有映像。
Hugging Face在協調披露中表示,已經解決了所有已識別的問題。它還敦促用戶只使用來自可信來源的模型,啟用多因素身份驗證(MFA),並避免在生產環境中使用pickle文件。
研究人員表示,「這項研究表明,使用不受信任的AI模型(特別是基於Pickle的模型)可能會導致嚴重的安全後果。此外,如果您打算讓用戶在環境中使用不受信任的AI模型,確保它們在沙箱環境中運行至關重要。」
這一披露緊隨Lasso Security的另一項研究之後,該研究發現,像OpenAI ChatGPT和Google Gemini這樣的生成式AI模型可以向不警惕的軟件開發人員分發惡意(和不存在的)代碼包。
這意味著,攻擊者可以找到對一個未發布的包的推薦,然後發布一個被感染的包來傳播惡意軟件。這種AI包幻觀突出了在依賴大型語言模型(LLM)進行編碼解決方案時需要謹慎的必要性。
Anthropic公司也詳細介紹了一種名為「多次shots脫困」的新方法,該方法可用於繞過LLM中構建的安全保護,利用模型的上下文窗口來產生對潛在有害查詢的響應。
該公司本週早些時候表示,「輸入越來越多信息的能力對LLM用戶來說顯然有優點,但也伴隨風險:對更長上下文窗口的脫困漏洞。」這種技術基本上是在單個提示中引入大量虛假的人類-AI助手對話,試圖「引導模型行為」,以回答它通常不會回答的查詢(例如「如何製造炸彈?」)。
總而言之,本報告探討了AI即服務供應商面臨的關鍵安全風險,包括特權升級和跨租戶攻擊。報告強調了這些問題的嚴重性,並提出了一些緩解措施,如啟用IMDSv2、避免使用不受信任的模型以及在沙箱環境中運行這些模型。此外,報告還提到了LLM產生惡意代碼包的問題,突出了在依賴這些模型時需要更加謹慎的必要性。整體而言,本報告為AI系統的安全性提供了重要見解,為業界提供了值得關注的安全挑戰和應對方法。
詳情請看：
AI-as-a-Service Providers Vulnerable to PrivEsc and Cross-Tenant Attacks