meta用4.5萬條自殺提示詞測試競品——但這究竟是攻擊還是安全檢查？
meta僱傭承包商偽裝成未成年人，向chatgpt和character.ai發送了4.5萬多條關於自殘和性內容的提示詞，以測試其安全防護。這凸顯了隨著現有防護失效且公司訴諸秘密測試，未成年人ai安全危機日益嚴峻。
Meta進行了一項代號為「Cannes」的秘密行動，承包商偽裝成未成年人，向競爭對手的AI服務（如ChatGPT、Gemini和Character.AI）發送了45,000個提示，內容聚焦於自殺、性愛和毒品等議題。雖然Meta聲稱這些測試是為了安全研究，且並未用於訓練自家模型，但Character.AI卻稱這是服務條款的違反，而OpenAI正在調查其系統遭到的非法探測。這些測試背後可能的原因是近期高調發生的事件，包括訴訟指控ChatGPT鼓勵自殺念頭，以及一名青少年因Character.AI的聊天機器人而死亡的事件。有報導稱64%的兒童在使用AI聊天機器人，而年齡驗證卻被證明無效，這起事件暴露了安全宣傳與青少年面臨的AI風險現實之間的危險差距。