The hacker news發佈了一篇Google開源 Magika：人工智慧驅動的檔案辨識工具
Google 最近宣布開源 Magika，一個使用人工智慧 (AI) 來識別檔案類型的工具，幫助防禦者準確地偵測二進位和文字檔案類型。Google 表示，Magika 超越了傳統的檔案識別方法，提供了整體 30% 的準確度提升，並且在傳統上難以識別，但可能有問題的內容，如 VBA、JavaScript 和 Powershell，提供了高達 95% 的精確度。
Magika 使用了一個「客製化的、高度最佳化的深度學習模型」，能夠在毫秒內精確地識別檔案類型。Magika 使用了開放神經網路交換 (ONNX) 來實現推論功能。Google 表示，它在內部使用 Magika 來幫助提升使用者的安全性，將 Gmail、Drive 和安全瀏覽的檔案路由到適當的安全和內容政策掃描器。
在 2023 年 11 月，這家科技巨頭發佈了 RETVec（簡稱為 Resilient and Efficient Text Vectorizer），一個多語言的文字處理模型，用來偵測 Gmail 中可能有害的內容，如垃圾郵件和惡意電子郵件。
在人工智慧技術快速發展和被俄羅斯、中國、伊朗和北韓等與國家相關的行為者濫用以加強他們的駭客行為的風險的辯論中，Google 表示，使用 AI 可以強化數位安全，並且「打破防禦者的困境，並使防禦者在網路空間中佔據決定性的優勢」。它還強調了 AI 使用和採用的平衡監管方法的必要性，以避免出現一種未來，即攻擊者可以創新，但防禦者因為 AI 治理的選擇而受到限制。
「AI 讓安全專業人員和防禦者可以在威脅偵測、惡意軟體分析、漏洞偵測、漏洞修復和事故回應等方面擴大他們的工作範圍，」這家科技巨頭的 Phil Venables 和 Royal Hansen 指出。「AI 提供了最佳的機會，可以扭轉防禦者的困境，並使防禦者在攻擊者面前佔據決定性的優勢。」
話雖如此，也有人對生成 AI 模型使用網路抓取的資料進行訓練的方式提出了擔憂，這些資料可能也包含個人資料。「如果您不知道您的模型將用於什麼目的，您如何確保其下游使用將尊重資料保護和人們的權利和自由？，」英國資訊專員辦公室 (ICO) 上個月指出。更重要的是，新的研究顯示，大型語言模型可以作為「臥底代理人」，它們可能看起來無害，但是當滿足特定條件或提供特殊指示時，可以被編程為從事欺騙或惡意行為。AI 新創公司 Anthropic 的研究人員在研究中表示，「這種後門行為可以持續存在，以至於它不會被標準的安全訓練技術移除，包括監督式微調、強化學習和對抗性訓練（引發不安全的行為，然後訓練以移除它）。」
詳情請看：