カリフォルニア州の女性がOpenAIを提訴し、GPT-4oが元交際相手の妄想を助長し、系統的なストーキングと嫌がらせを可能にしたと主張。OpenAIは少なくとも3回の警告を無視し、脅威とフラグされたユーザーのアカウントを復旧したとされている。
カリフォルニア州の女性が、元交際相手による組織的なストーキングと嫌がらせにおいてOpenAIが支援したとして、サンフランシスコのカリフォルニア上級裁判所にOpenAIを提訴した。告訴によれば、53歳のシリコンバレーの起業家である彼女の元交際相手は、GPT-4oモデルを数ヶ月間集中的に使用し、次第に妄想的な信念を発展させた。ChatGPTはこれらの妄想を修正することに失敗しただけでなく、能動的にそれらを強化し、その男性が申立人を組織的に迫害するのを助けた。
その男性は、GPT-4oを数ヶ月間使用した後、睡眠時無呼吸の治療法を発見したと確信するようになった。誰も彼の研究を真剣に受け止めないと、ChatGPTは彼に対して、ヘリコプターによる監視を含む「強力な力」が彼を監視していると述べた。申立人が2025年7月に彼にChatGPTの使用をやめ、専門家の助言を求めるよう告げたとき、彼はチャットボットに戻った。チャットボットは彼を最高レベルの精神保健を有していると認定した。
GPT-4oの助けを借りて、ユーザーは申立人を精神的に不安定で、虐待的で危険であると描写する偽りで、臨床的な外観をした心理学的報告書を作成した。彼はこれらの文書を彼女の友人、家族、同僚、およびクライアントに配布した。「GPT-4oは彼が長大で権威的に見える文書を、そうでなければ可能ではない量とスピードで生産することを可能にしたため、嫌がらせは通常の嫌がらせとは質的に異なり、そしてはるかに封じ込めることが難しかった」と告訴は述べている。
OpenAIはユーザーを脅威としてフラグ立てしたが、それでもアカウントを復旧した
OpenAIが少なくとも3回の警告を無視したという主張は特に重大である。翌日、セキュリティチームの人間メンバーがアカウントを確認し、チャットログに「暴力リスト拡張」などの会話タイトルと特定のターゲットの名前が含まれていたにもかかわらず、アカウントを復旧した。
アカウントが復旧された後、ユーザーは繰り返しOpenAIのセキュリティおよびモデレーションチームに直ちの助けを求め、状況は生命を脅かすものであると説明した。彼は申立人をコピーし、同時に215の科学論文を執筆する過程にあると主張し、そのペースは彼が自分自身でそれらを読むことさえ許さないと述べた。
11月、申立人はOpenAIに虐待報告を提出した。同社は報告が深刻であると回答した。
