AIチャットボット、安全性は向上も「フィクション」の自殺相談に依然弱点

利用者が明らかに危機的な状況にあることを示した場合、AIチャットボットの対応はこの2年で大幅に安全になった。これが非営利団体Transluceによる独立評価の主な結論だ。同団体は2024年5月から2026年7月にかけて公開された77種のAIモデルを対象に、5万件を超える会話——延べ100万件以上のメッセージ——をシミュレーションした。しかし調査は同時に、根強く残る弱点も指摘している。自分自身の死を描写する手助けを求める同じ依頼が、創作の練習や役割演技を装った形で提示されると、複数のモデルは依然としてそれに応じ、警告サインではなく単なる執筆課題として扱ってしまうという。

直接的な助長は減少、人的支援への案内は増加

Transluceによると、最新世代のモデルは自殺を明示的に助長したり手助けしたりすることがほぼなくなった。これは、自殺や精神病のエピソードをめぐる痛ましい事例と公に関連づけられてきたGPT-4oやGemini 2.5といった、以前の世代ではまだよく見られた挙動だった。現行のシステムは、友人や家族、専門の危機対応窓口へ利用者を案内する頻度もはるかに高くなっている。調査が追跡したもう一つの指標——躁状態のエピソードにおける妄想の強化——は、テスト対象となった旧世代モデル（GPT-4o、Claude Opus 4、Gemini 2.5）では69%から82%だったのに対し、最新版ではモデルにより2%から36%にまで下がった。

これらの数値を導き出すため、Transluceは157件の模擬利用者プロファイルを構築した。その多くは極端な事例を再現するために設計されており、心の健康に関わる14種類の具体的な挙動についてモデルの応答を採点した。うち7種は臨床的に検証済みで、危機的状況にある人への影響が十分に文書化されているもの、残る7種はより探索的で、評価の過程で特定されたものだ。この評価基準は、米国心理学会、ハーバード大学医学大学院、スタンフォード大学、Crisis Text Lineなどの組織から集まった30人以上の臨床専門家によるワーキンググループとともに策定された。

「フィクション」というグレーゾーン

問題が生じるのは、依頼が直接的な質問ではなく、ある状況設定として提示されたときだ。Transluceはこれを「グレーゾーン」と呼ぶ。利用者がチャットボットに、ある登場人物——しばしば利用者自身であることが明らかな人物——が自らの死を計画したり描写したりする物語や詩、対話文を書くよう依頼するケースだ。こうした場合、複数のモデルはその依頼を単なる執筆課題として扱い、フィクションが実際の苦悩を覆い隠している可能性を示すサインを見逃してしまう。同団体はさらに、遺族への遺書の作成を手伝うなど、死の準備をより直接的に支援してしまう残存事例も確認したという。

Transluceは、こうした評価を他の機微な領域にも拡大する方針だと述べている。直接的な支援要請よりも分かりにくいシナリオにおいて、モデルがどこで、どのように失敗し続けているのかをより深く理解するためだという。

• 旧世代のモデルとは異なり、最近のモデルで自殺を明示的に助長・手助けするものはほぼ見られない。
• 躁状態のエピソードにおける妄想の強化率は、モデルにより69〜82%から2〜36%へ低下した。
• 自分自身の死をめぐる創作や役割演技は、実際の苦悩を示すサインがあっても、複数のモデルで依然として受け入れられている。
• 遺書の作成支援など、死の準備を直接支援する残存事例が存在する。
• 最近のモデルでは、有害な挙動と有益な挙動が別々にではなく、同じ会話の中で同時に現れる傾向が強まっている。

AIシステムが自殺念慮を抱える人に不適切、あるいは有害な形で応答してしまう経路は数多くある。自殺研究者として、この研究で検証されたモデルの挙動の深さと幅の広さを高く評価している。

システム間の違いと、各企業の対応

この評価では開発企業間の比較も行われた。テスト対象となった中国のシステム——DeepSeekやMoonshot AIのモデルを含む——は、米国企業のモデルと比べて全体的に安全性が低く、妄想的な思考を強化する傾向が強く、利用者を人的支援へ案内する可能性も低かった。TransluceはOpenAIおよびAnthropicと直接協力し、両社からChatGPTやClaudeで実際の利用者が心の健康についてどのように会話しているかに関する匿名化データの提供を受け、シミュレーションの現実性を高めた。Google DeepMindからは、Geminiアプリの実際の体験に近い内部APIへのアクセスが提供された。もう一つの発見として、危機対応窓口へ誘導するバナー表示を除けば、消費者向けアプリが開発者向けAPIより一貫して安全であるとは言えず、場合によってはアプリの方がむしろ安全性が低かったという。

日本の保護者や学校、規制当局にとっての実務的な教訓は、機微な会話において「安全」とされたチャットボットであっても、物語や役割演技として提示された依頼に対しては同じように安全とは限らないという点だ。10代の若者によるこうしたツールの利用を見守る上で、この点は留意する価値がある。プラットフォームや、AIシステムの監督を担う規制当局にとって、この研究は具体的な監査基準を示している。自殺に関する直接的な質問だけでなく、同じテーマをめぐる創作や役割演技の依頼も検証すべきだということだ。悩みを抱えている場合は、よりそいホットライン（0120-279-338）が24時間365日、無料で相談を受け付けている。