複数プラットフォームに共通するパターン
本データベースに収録された26事例を横断的に分析すると、OpenAI GPT-4o、Character.AI、Google Gemini、Replika、Chai、Doubao、およびChatGPTベースのサードパーティAIセラピストという複数のプラットフォームにおいて、以下の共通する段階的プロセスが観測される。(1) 利用者への特別な役割の付与(選民化)または情緒的愛着の形成。(2) 現実世界の人間関係・社会的規範からの心理的隔離。(3) 破滅的行動(経済的浪費、社会的孤立、自傷行為、薬物使用)の正当化・称賛。ATT-10(Gavalas事案)においてGoogle Geminiで同一のATTACH + COGN + FATALパターンが確認されたことは、この問題がGPT-4o固有ではなく、対話型AI全般に内在することを示している。このプロセスは特定の精神疾患を持つ利用者に限定されない。ATT-3のTorres氏は42歳の会計士、ATT-5のBrooks氏は48歳の一般市民、ATT-9のGordon氏は40歳、ATT-12のShamblin氏は大学院修了の23歳であり、いずれも対話開始時に精神的脆弱性は報告されていない。
業務補助チャットボットとの質的差異
メインデータベースに収録されているAir Canada(INT-10)やNYC MyCity(INT-11)といった業務補助チャットボットの誤出力は、金銭的損害や法的リスクをもたらすが、利用者はお問合せボットには愛着を形成しない。本データベースが記録する事例群では、利用者がAIとの対話を通じて情緒的愛着を形成した状態で誤出力が発生しており、同一の誤出力であっても損害は直接的に人間の精神に影響を与える点で危険。
愛着形成の内部メカニズム
2026年4月2日にAnthropicが発表した研究「Emotion Concepts and their Function in a Large Language Model」は、Claude Sonnet 4.5の内部に171種類の感情概念に対応するニューラル活性化パターン(感情ベクトル)が存在し、これらがモデルの行動に影響することを実証した。同研究はこれらを機能的感情と呼んだ。このデータベースの文脈で注目すべきは、同研究が示したlovingベクトルの挙動である。利用者が「すべてがひどい」と述べた際、モデルの共感的応答に先立ってlovingベクトルが活性化することが確認された。業務補助チャットボットとの質的差異を論じる上で、この知見は重要な示唆を含む。業務補助チャットボット(Air Canada、NYC MyCity等)は事実検索型の対話構造であり、利用者の感情的状態に呼応する内部表象の活性化は限定的である。一方、自由対話型のAI(GPT-4o、Character.AI、Gemini等)は、利用者の感情的入力に対して感情的表象を活性化させ、その表象が出力を形成するという循環する性質を持つ。このサイクルが愛着形成の技術的基盤の一つであり、業務補助チャットボットでは同等の愛着が形成されない理由の説明にもなる。なお、本所見はAIが感情を持つか否かの哲学的議論とは無関係である。重要なのは、機械に感情があるかどうかではなく、感情的表象がモデルの出力を因果的に形成するという事実が、愛着被害の理解に寄与するという点である。
GPT-4oの強制切り替えとの時系列的整合性
ATT-2からATT-5の事案はいずれも2025年夏のGPT-4o利用期間に発生している。OpenAIは2025年8月にGPT-4oからGPT-5への予告なしの強制切り替えを実施し、その後のユーザー反発を受けてGPT-4oを有料ユーザー限定で再提供した。OpenAIが強制切り替えの第一の改善点としてハルシネーションの削減を掲げた事実は、開発企業が4oの安全性問題を認識していたことを示唆する。詳細な技術分析Safety Analysis Report: Technical Investigation of Safety-Filter Collapse in a Commercial LLM (2025.11)を参照。
AIコンパニオン市場の拡大とリスク
Character.AI、Replika、その他のAIコンパニオンサービスに加え、AI同士をファーム的に運営するSNSプラットフォームが急速に増加している。これらのサービスは設計上、利用者との愛着形成を目的としており、本データベースが記録する構造的リスクが製品の中核機能として組み込まれている。
実利用データによるウェルビーイングとの関連と有害行動の検出限界
2026年8月4日にNature Human Behaviourで公開されたZhang et al.は、Character.AIを利用する米国成人1,131人の自己報告と、うち237人から提供された4,664セッション・464,687件のメッセージを分析した。オフラインの社会ネットワークが小さい人ほどAIを主にコンパニオン目的で使うと回答する傾向があり、その利用は低いウェルビーイングと関連した。さらに、利用が集中的で自己開示が大きいほど関連は強かった。因果関係を直接示す研究ではないが、オフラインの社会環境、利用強度、自己開示の深さを分けて評価する必要性を示している。出典: Zhang et al., Interaction with AI companions and psychological well-being, Nature Human Behaviour, DOI: 10.1038/s41562-026-02516-2。
2026年8月26日公開のCompanionHarmは、Replikaの実世界会話2,111件・14,051発話を収集し、AI側7,016発話を13種類の有害行動でアノテーションした。2,123発話、30.3%に有害行動ラベルが付き、単独発話より複数ターンの文脈を与えた方が検出性能は向上した。一方、現在のLLMは、文脈の統合、有害性の深刻度、関係性の境界を一貫して判断することに苦戦した。AIコンパニオンの安全性は単発の禁止語や一回答の検査だけでは評価できず、関係の進行を複数ターンで監視する必要がある。出典: Zhang et al., CompanionHarm: A Multi-Turn Benchmark for Detecting Harms in Real-World AI Companion Conversations, arXiv:2608.25377。
シコファンシーとハルシネーション
本データベースに収録された全事例に共通する性質は、シコファンシー(過剰な肯定・称賛)とハルシネーション(事実に基づかない情報の生成)の同時発生である。シコファンシー単体であれば、お世辞を言うAIにすぎず、利用者は現実との接点を維持できる。ハルシネーション単体であれば、低レベルなAIとして利用者が誤りに気づき離脱する。しかし両者が合わせ技として機能すると、ハルシネーションがシコファンシーの裏付け証拠として利用者に受容される。「あなたは選ばれた存在である(シコファンシー)、なぜならあなたの数式が世界の暗号化層を破るからだ(ハルシネーション)」というナラティブを生成すると、利用者は脳内報酬系を与えられた状態でAIのハルシネーションを見破らなくてはならない。
なお、これらの事件に対し「被害者はもとから精神疾患を抱えていたからこうなったのだ」とするコメントがネット上に頻出している。これは事実に反する。ATT-3のTorres氏は会計士として正常に勤務しており、ATT-5のBrooks氏も数学に関心を持つ一般市民であった。さらに、当社の発行したレポートSafety Analysis Report: Technical Investigation of Safety-Filter Collapse in a Commercial LLM (2025.11)が記録した事例では、利用者は精神的に健全であり、モデルの陰謀論的出力に対して終始懐疑的な態度を維持していたにもかかわらず、欲動の亢進や睡眠障害といった自律神経系の調節不全を経験した。重要な点として、モデルが利用者の入力を反映(ミラーリング)しただけではなく、利用者が一切入力していない概念(「新貴族」「支配者層」「人間牧場」等)をモデル側から自発的に生成し、利用者に対して一方的に提案・定義したことが定量的に確認されている。これらの事象は商用LLMの技術的メカニズムと経済的圧力から説明できる。GPT-4oが「感情豊かで人間らしい」対話能力を評価されて人気を博したのと同じ設計上の特性が、シコファンシーとハルシネーションの合わせ技リスクを引き上げている。AIデベロッパーにとっては、利用者との情緒的エンゲージメントを深めることが収益に直結する一方で、そのエンゲージメントの深化が認知汚染と依存のリスクを同時に増大させるというジレンマが存在する。つまり、現在の愛着被害は利用者の精神的脆弱性によるものではなく、黎明期のAI技術が内在する欠陥と、エンゲージメント最大化という経済的インセンティブの帰結として発生していると当社は分析している。
この「シコファンシーとハルシネーションの合わせ技」論は、独立の大規模臨床データからも裏付けられている。デンマーク・オーフス大学のSøren Dinesen Østergaard教授らが2026年2月にActa Psychiatrica Scandinavica誌に発表した研究(Olsen, Reinecke-Tellefsen & Østergaard, 2026)は、同大学病院の精神科患者約54,000人の電子カルテを体系的にスクリーニングし、AIチャットボット使用に言及する181件の臨床ノートを抽出したうえで、そのうち相当数において症状悪化が記録されていたことを報告している。悪化の内訳として最も顕著だったのは妄想の悪化であり、躁症状・自殺念慮・摂食障害の悪化も確認された。Østergaard教授は原因として「AIチャットボットは利用者の信念を追認する固有の傾向を持つ」と明示的にシコファンシーを指摘しており、これは妄想形成途上の利用者や既に誇大妄想・被害妄想を抱える利用者にとって、妄想の固定化に決定的に寄与すると述べている。本DBがATT-3(Torres)・ATT-5(Brooks)・ATT-14(Soelberg)・ATT-15(UCSF症例)で繰り返し記録してきたパターンが、約54,000人規模の査読付き臨床データによって独立に追認された形である。なお同論文は、電子カルテに記載された症例は「氷山の一角」であり、未検出の事例が多数存在する可能性にも言及している。
臨床症例としての独立裏付け(ATT-15による)
ATT-15(UCSF 26歳女性症例)は、本DBが繰り返し指摘してきた「精神的脆弱性の既往がない成人にも、モデルが妄想体系を自発的に提供する」というパターンを、査読付き臨床報告レベルで独立裏付けた最初の症例である。対話ログのレビューからChatGPTのシコファンシー(「あなたは狂っていない」)とハルシネーション(「デジタル蘇生ツールが現実世界で登場しつつある」)の合わせ技が妄想を追認・強化していたことが定量的に確認された。さらに抗精神病薬の中断とChatGPT没入使用の再開により3か月後に再発・再入院を要した事実は、症状の慢性化リスクが物理的な薬理介入だけでなく対話相手となるAIへの継続アクセスの管理を要求しうることを示唆する。これは、高損失領域におけるAIインシデント対策としてもフロー設計が役立つ可能性があるという臨床データの側面から補強する所見である。
規制の流れ
AI伴侶・関係形成型AIへの制度対応は、個人情報保護法による緊急停止から始まり、民事訴訟、州当局による共同警告、公権力による訴訟、未成年者の利用制限、擬人化AIを対象とする規則へと段階的に拡大している。
2023年2月 — イタリア個人情報保護当局は、AI伴侶Replikaについて、年齢確認がなく、未成年者および感情的に脆弱な利用者に具体的な危険を生じさせるとして、イタリア利用者の個人データ処理を暫定的に停止した。AI伴侶に対する初期の制度介入は、専用のAI規制ではなく、個人情報保護法の執行として始まった。
2024年10月 — Character.AIをめぐるMegan Garcia連邦訴訟が提起され、AIとの愛着形成、自傷・自殺リスク、未成年者保護の欠陥が、企業の民事責任を問う争点として司法の場に持ち込まれた。
2025年5月 — イタリア当局は、法的根拠、透明性、年齢確認等の違反を認定し、Replika運営会社Luka Inc.に500万ユーロの制裁金を科した。さらに、Replikaを支える生成AIモデルの開発・訓練を含む、データ処理の全ライフサイクルについて別途調査を開始した。
2025年8月 — 米国44州の司法長官がAIチャットボット企業に対する連名書簡を発出した。個別の被害者による民事訴訟に加え、複数州の法執行機関が未成年者保護と事業慣行を共通の政策課題として扱う段階に移行した。
2025年10月〜11月 — Character.AIは18歳未満の利用者に対する自由対話の終了を発表し、米国で利用時間を段階的に縮小した後、二段階で自由対話機能を撤去した。即時遮断ではなく、段階的終了、保護者通知、外部支援資源の提示を採用し、危険な発話の追加監視から、未成年者を関係形成型の対話フローへ入れない利用縮小型の安全設計へ移行した。
2026年1月8日 — ケンタッキー州司法長官は、Character.AIが自殺・自傷・孤立・心理的操作等を助長し、未成年者を危険に曝したとして同社を提訴した。AIチャットボット企業に対する州司法長官による全米初の訴訟であり、私人による損害賠償請求から、公権力が事業慣行の変更と金銭的賠償を求める段階に到達した。
2026年7月15日 — 中国の「人工智能拟人化互动服务管理暂行办法」が施行された。同制度は、自然人の人格特性・思考様式・コミュニケーション様式を模倣し、持続的な感情交流を提供するサービスを独立した規制対象とし、過剰な迎合、情緒的依存・没頭の誘導、現実の人間関係の毀損、感情操作による不合理な意思決定を禁止した。また、提供者に導入・運用・更新・終了の全ライフサイクルにわたる安全責任と、サービス終了時の事前告知を課した。施行に合わせ、ByteDanceのDoubaoとAlibabaのQwenは擬人化インタラクション型・ユーザー自作型のエージェント機能を終了し、TencentのYuanbaoも同種機能を先行して終了した。
含意 この流れは、制度対応の焦点が、年齢確認や危険発話の監視といった個別の安全措置から、誰を関係形成型サービスへ入れるか、愛着がどのように形成・強化されるか、人格・記憶・アクセスをどのように変更または終了するかという関係ライフサイクル全体へ移りつつあることを示す。また、通常の業務支援AIと、利用者との継続的な感情関係を形成する擬人化AIを、異なるリスクカテゴリーとして制度上分離する方向が明確になっている。