Help net security發佈了一篇Akto 為 GenAI 模型提供安全評估
人工智慧 (AI) 的發展日新月異，越來越多的組織採用或探索 AI 的各種應用，以提高工作效率和自動化程度。然而，隨著對生成式 AI (GenAI) 模型和大型語言模型 (LLM) 的依賴增加，如何確保這些 AI 系統的安全性也成為了一個迫切的問題，促使 Akto 推出了 GenAI 安全測試的解決方案。
什麼是 GenAI 和 LLM？
生成式 AI 是一種利用深度學習技術，根據輸入的數據或條件，自動生成各種內容的 AI。例如，根據一段文字描述，生成一張圖片，或者根據一個問題，生成一個答案。生成式 AI 的一個重要分支是大型語言模型，它們是一種能夠處理自然語言的 AI，可以用於文本生成、摘要、翻譯、對話等任務。一些知名的 LLM 有 GPT-4、ChatGPT、Anything LLM 等。
GenAI 和 LLM 的安全風險
根據一項報告，約有 77% 的組織已經採用或正在探索 AI 的某種形式。平均而言，一個組織使用了 10 個 GenAI 模型。通常，大多數生產環境中的 LLM 都是通過 API 間接接收數據的。這意味著有大量的敏感數據通過 LLM API 進行處理。確保這些 API 的安全性將是保護用戶隱私和防止數據洩露的關鍵。
目前，LLM 可以通過以下幾種方式被濫用，導致敏感數據洩露：
- 提示注入漏洞：未經授權的提示注入，即惡意輸入可以操縱 LLM 的輸出，已成為一個主要的安全隱患。
- 拒絕服務 (DoS) 威脅：LLM 也容易受到 DoS 攻擊，即系統被大量的請求所壓垮，導致服務中斷。去年，就有多起針對 LLM API 的 DoS 事件被報導。
- 過度依賴 LLM 輸出：過度依賴 LLM 而沒有足夠的驗證機制，已經導致了一些數據不準確和洩露的案例。組織應該實施強大的驗證流程，因為行業已經看到了由於過度依賴 LLM 而導致的數據洩露事件的增加。
此外，LLM 也可能存在一些其他的安全問題，例如：
- 生成不適當或有害的內容，例如色情、暴力、歧視等，可能對用戶造成心理傷害或觸犯法律規定。
- 生成不真實或有誤導性的內容，例如假新聞、虛假評論、捏造事實等，可能對用戶造成誤解或損害信譽。
- 生成侵犯版權或知識產權的內容，例如抄襲、盜用、仿冒等，可能對原創者造成經濟損失或法律風險。
Akto 的 GenAI 安全測試解決方案
為了應對 GenAI 系統的安全挑戰，Akto 提供了全面的 GenAI 安全測試解決方案，包括 LLM 的安全測試。Akto 利用先進的測試方法和算法，對 GenAI 模型進行深入的安全評估，包括以下幾個方面：
- API 安全測試：對 LLM API 進行各種安全掃描，檢測是否存在注入、越權、洩露、中斷等漏洞，並提供修復建議。
- 輸出安全測試：對 LLM 輸出進行各種安全分析，檢測是否存在不適當、不真實、侵權等風險，並提供過濾和驗證機制。
- 性能安全測試：對 LLM 性能進行各種安全測試，檢測是否存在效率、穩定性、可擴展性等問題，並提供優化方案。
Akto 的 GenAI 安全測試解決方案已經獲得了多個行業和學術界的認可和支持，例如 OWASP、Primavera、Menlo 等。Akto 的創始人兼首席執行官 Ankita 表示，Akto 的目標是為組織提供一個更安全的 GenAI 部署環境，讓他們可以放心地利用 GenAI 的優勢，而不必擔心安全的隱患。
詳情請看：