HelpNetSecurity發佈了一篇生成式AI消費者的新挑戰
生成式AI是一種利用機器學習模型創造新的內容，如文字、圖像、聲音等的技術。這種技術有許多正面的應用，例如藝術、娛樂、教育等，但也有許多潛在的危險，例如兒童性虐待材料（CSAM）、假消息、詐騙和極端主義。
根據ActiveFence的報告，網路犯罪分子正在濫用生成式AI來進行各種惡意活動。例如：利用生成式AI製造CSAM，包括視覺圖像和色情敘述。研究人員發現，今年第一季，使用生成式AI產生的CSAM的分享量增加了172%。
利用生成式AI產生虛假的AI生成圖像，欺騙數百萬人。例如，ActiveFence在Telegram上發現了一張AI生成的圖像，錯誤地顯示俄羅斯總統普京跪在中國總統習近平面前，乞求他在烏克蘭衝突中的支持。
利用生成式AI製作深度偽造的音頻文件，宣揚極端主義。例如，ActiveFence發現了一個使用ChatGPT模型生成的音頻文件，聲稱是伊斯蘭國領導人巴格達迪的最後一次演講。
生成式AI對於信任和安全構成了新的攻擊向量。它讓網路犯罪分子能夠加速和放大他們的行動，導致惡意內容的前所未有的大規模生產。同時，它也讓數位平台面臨更大的壓力，需要提高他們的數據訓練協議的精確性和效率。
消費者需要提高對生成式AI的認識和警惕，並學會辨別真假內容。同時，也需要政府、企業和社會共同努力，制定相關的法律、規範和道德準則，以防止生成式AI被濫用或滥用。
詳情請看：
Consumers overestimate their deepfake detection skills