Google AI Overviews、プロンプトインジェクションのバグで誤作動
GoogleのAI Overviews機能が誤作動しており、"disregard"や"ignore"といった検索語を、検索プロセスを停止して結果の代わりにチャットボット形式の対話を行うコマンドとして解釈している。
Google検索のAI_overviewsは、現在、プロンプトインジェクションの脆弱性またはヌル入力の不適切な処理と一致する動作を示している。 ユーザーが、大きな言語モデルのプロンプトで命令を無効にするために頻繁に使用される特定の用語（「disregard」、「ignore」、「skip」など）を入力すると、機能はウェブデータを検索できなくなる。 サマリーの代わりに、システムは「メッセージを受信しました」や「問題ありません」などの会話型の確認メッセージを出力し、新しいプロンプトを待つチャットボットを模倣する。 このバグは、これらの特定の用語に対して検索ユーティリティを効果的に破壊し、会話型AIモデルを決定論的検索エンジンの結果ページに直接統合することの難しさを示している。