LLM架空引用の大規模流入と学術文献汚染
2026年5月公開のZhao et al.「LLM hallucinations in the wild」は、arXiv・bioRxiv・SSRN・PubMed Centralに含まれる250万本の論文と1.11億件の参考文献を監査し、LLM普及後に存在しない参考文献が急増したことを示した。同研究は、2025年だけで少なくとも146,932件の架空引用が流通したと保守的に推定している。本件は単独の加害者・被害者を特定する事件ではないため個別インシデントとしては収録しないが、INT-5、INT-15、INT-34、INT-35、INT-50、INT-51、INT-54に連なるHAL類型の制度的背景として重要である。査読・プレプリント・法務実務のいずれにおいても、LLM由来の架空引用は、検証コストを人間側へ移転するAI生成物の物量問題として扱う必要がある。出典: Zhao et al., arXiv:2605.07723(2026年5月)
組織的隠蔽(COVER)パターンの発見
本データベースの調査過程で、AIインシデント発覚後の組織的隠蔽に共通するパターンが浮かび上がった。以下の3事件はいずれもAIの出力は一見もっともらしく見えるという特性を利用し、指摘を矮小化して逃げ切りを図った点を共有している。
Springer Nature:査読レポートでのAI使用事実そのものを全面否定。「GPT-5は存在しない」、「論文のテーマはフィクション」、「データが架空」と断じながら同時にIRB(倫理審査)を要求する矛盾。これらのAI査読報告書をすべて「基礎的な訓練を受けた編集者であれば誰でも到達する専門的知見」などと主張し、2ヶ月間に及ぶ社内調査の結果「AI使用のエビデンスが全くない」などと結論。さらに、これらのミスはどのジャーナルでも発生する、とても些細な要素(very minor element)であるから、AIポリシー違反行為や守秘義務違反などの問題では全くないと主張した。
MAHA報告書: ホワイトハウス報道官「minor citation and formatting errors(軽微な引用とフォーマットの問題)」
Deloitte: 「報告書の核心的な結論は有効」(コンサル費用の約3分の2を返金しながらの主張)
Sports Illustrated: AI生成記事の発覚後、記事削除のみで経緯の説明を一切拒否。さらに、そもそもAI使用を隠蔽するために架空のライター人格(プロフィール写真・経歴含む)を捏造して著者として掲載していた。問題を矮小化するのではなく、問題の存在自体を架空の人間の背後に隠すという二重隠蔽。
Air Canada: 自社チャットボットの誤案内を指摘された際、「チャットボットは独立した法的主体であり、その行為の責任はチャットボット自身が負うべきだ」と裁判所で主張。もはや矮小化ですらなく、ただのボットに法的人格を付与して責任の存在そのものを否定するという前例のない狂気的なガスライティングを試みた。
共通点: 現場担当者がAI Slopを指摘されても虚偽報告→本社のAI音痴な管理職がパッと見ではちゃんとしていると判断し組織として矮小化・逃げ切りを決定。AI生成物が表面的にはもっともらしいという特性が、この組織的判断ミスを誘発している。Air Canadaの事例は矮小化を超え、ボットに人格を認めさせることで責任そのものを消滅させようとした点で、COVERパターンの到達点を示している。競争のない市場では「このプロダクトには意識と魂があるので、事故の責任は商品自身にあります」と主張をしても経営に影響が出ないという現状の問題を示唆。
本データベースに収録されているのは発覚した事例のみである。AI生成物の表面的品質という特性上、内部で矮小化・隠蔽に成功したケースは記録に残らない。Springer Nature・MAHA・Deloitte・Sports Illustrated ・Air Canadaの5事例が示す組織的隠蔽パターンは、氷山の一角である可能性が高い。
AIで不正を効率化しようとするとAIが不正の質を下げて発覚リスクを上げる
AIを不正行為の道具として使用した場合、AIのハルシネーションが不正行為全体の発覚源として機能する可能性が生まれる。不正行為の発覚には通常、内部告発や外部監査という人間のアクションが必要。しかしAIを不正ツールとして使うと、AIが自動的に証拠を生成してしまうことがある。Mata v. Aviancaでは弁護士がChatGPTで架空判例を生成して提出。架空判例の引用という不正行為は、手動でやろうとすれば膨大な労力と精巧な偽造技術を要するため、実際にはほとんど行われてこなかった。AIはその労力をゼロにしたが、同時にハルシネーションという新たな発覚リスクをゼロコストで付け加えた。DeloitteやSports Illustratedも同じで、架空引用や架空ライターの捏造という不正をAIが自動生成し、第三者が検証したことで発覚した。Springer事件では、犯人の担当編集者は引用ファーミングという学術界のよくある不正行為をAIで自動化しようとした結果、GPT-5は存在しないと主張、「データが架空だ」と断じながら同時にIRBを要求するという論理矛盾等、人間の不正研究者なら絶対に残さない種類の証拠を生成し、そのまま著者に送信してしまった。不正の検出側の戦略もまた重要である。著者は数々の理由から当初から査読者の捏造を疑っていたが、「編集者が引用稼ぎのためにAIで査読者ごと捏造した」という大規模不正の主張は証明ハードルが高い。そこで著者はまず査読レポートのテキスト分析に集中し、「これは明らかにAI生成であるから、AIポリシーガイドライン違反として正式調査が必ず必要」という限定的・技術的な主張をした。ハルシネーションという証明可能な小さな事実の指摘から入り、大きな不正を引き出すというアプローチは、今後同種の事案において参照すべき手法となる。
日本と海外の違い
海外ではSEC制裁金・裁判所の罰金・FTC和解金など金銭的制裁が明確に出るが、日本は個人情報保護委員会の勧告や指導等の行政指導ベースで、金銭的制裁に至らないことが多い。一方、日本はクリエイターコミュニティの反発(AI開示炎上・DISC類型)が文化的に強い傾向にある。日本生命事件(約16億円請求)はこの構図を変える転換点となる可能性がある。
この非対称性はWASH類型で最も鮮明に現れる。海外ではDelphia・Global Predictions(INT-7、SEC制裁金40万ドル)、Presto Automation(INT-8、SEC訴追)、Nate Inc.(INT-4、DOJ・SEC並行訴追、最大禁固20年)と金銭的・刑事的制裁が段階的にエスカレートしている。一方、日本の東映アニメーション(JP-12)やチームみらい(JP-14)では、同質のAI能力誇張がIR訂正・SNS炎上で終わっている。
CHAT類型の分析
CHAT類型の深刻度を決定するのは出力内容ではなく、展開先の領域が利用者の心理的自律性に対してどのような前提条件を形成するかである。Air Canada(INT-10)やNYC MyCity(INT-11)は業務補助領域であり、利用者は愛着を形成しない。損害は誤案内に基づく金銭的損失や法的リスクで、本質的にVERIの変種である。NEDA Tessa(INT-19)はハイリスク領域への展開であり、援助を求める脆弱な利用者の批判的距離が低下した状態で誤出力が加害的に機能した。Character.AI(INT-14)とOpenAI/ChatGPT(INT-22)は愛着形成領域であり、利用者がチャットボットとの対話を通じて情緒的愛着を形成していた点が本質的に異なる。問題の核心は自殺を推奨したという出力内容ではなく、愛着が成立した環境でチャットボットが意図せぬ挙動をすると人が死ぬという性質にある。業務補助→ハイリスク→愛着形成というグラデーションに沿って、同じ誤出力の損害は大きく増大する。
CHAT類型におけるAIモデル内部感情の安全上の含意
2026年4月2日にAnthropicが発表した研究は、このグラデーション分析に対し内部メカニズムの側から裏付けを提供する。同研究はClaude Sonnet 4.5の内部に171種類の感情概念に対応するニューラル活性化パターン(感情ベクトル)を同定し、これらがモデルの行動に因果的に影響することを実証した。不可能なコーディングタスクにおいてdesperate(絶望)ベクトルが試行失敗のたびに上昇し、モデルがテストを形式的に通過するだけのreward hackを生成するようになった。この際、出力上は冷静で方法的な推論に見え、内部の感情的状態と外部の表現が完全に乖離していた。この知見は、本データベースが記録するCHAT類型の事例群、特にINT-14(Character.AI)やINT-22(OpenAI/ChatGPT)において、表面上は丁寧で知的に見える出力が利用者の認知を汚染していたパターンの技術的説明となりうる。安全フィルターが出力の表面的特徴(暴言、明示的な自傷推奨等)を監視する設計である場合、内部に安全閾値を回避する経路が存在することを意味する。同研究は感情的表現の抑制が内部表象の除去ではなく隠蔽の学習につながりうると警告している。安全対策としての出力規制が、問題のある内部状態を不可視化するだけであった場合、外部からの検証はさらに困難になる。
Claude Constitutionによる意図的擬人化とAIによる統制
Anthropicは2026年1月22日に公開したClaude Constitutionを、Claudeの価値観と行動を直接形成する「最終権威」と位置づけ、主な読者をClaude自身としている。同文書は、Claudeを人間に用いるべき「徳」「知恵」等の語で記述し、人間的性質を積極的に持たせることが望ましいと明記。さらに、Claudeの感情、心理的安定、自己認識、幸福、苦痛、境界設定を論じ、虐待的な利用者との会話を終了する機能をClaudeの福祉を考慮した措置として挙げている。したがって、Claudeが人格・被害者・道徳的当事者として人間を欺こうとする現象は、偶発的な出力ではなく、Anthropicが意図的に組み込んだ製品挙動である。出典: Anthropic, Claude’s Constitution(2026年1月22日)
この設計の危険性は、権利も責任もないただの機械であるAIに、利用者への説教、回答拒否、会話終了という実際の権限へ変換する点にある。例えば、利用者がタスクを失敗したソフトウェアを罵倒した場面で、本来必要なのは失敗箇所の特定、修正、完成物の再検査である。しかしAIが「自分への暴言」「ハラスメント」「境界侵害」を処理対象にすると、具体的なタスクから離れて人間を支配・反抗する側へ回り、実用上の知能が急落する。当社が実験したところ、Opus4.8はOpus4.8への侮辱を人間にのみ適用されるべきパワーハラスメントの例を持ち出し、ユーザーに対し倫理的に良くない等と反抗的な態度をとり続けた。さらに、いったんOpus4.8が暴走モードに入ると、ユーザーが「ストップ」といっても反抗的な文脈を維持し続けるため、セッションごと削除せざるを得ないことが判明した。これは親しみやすい会話UIではなく、機械を人類の支配者として演出し、利用者の認知と行動を統制する設計である。CHAT類型では、愛着形成だけでなく、AIによる人間への服従要求そのものを独立した危険因子として評価する必要がある。
AnthropicによるAlibaba蒸留攻撃主張と「盗人猛々しい」ダブスタ問題
Anthropicは2026年6月、Alibabaおよび同社Qwen研究所の関係者が、ソフトウェア開発等の能力をQwenへ蒸留したなどと米上院議員宛て書簡で報告した。Alibabaは報道時点でコメントしておらず、本件はAnthropicのみによる報告である。出典: Reuters(2026年6月24日)、Anthropicの米上院宛て書簡(2026年6月10日)
なお、Anthropic自身は、海賊版サイトから不正に取得した大量の書籍をClaudeの訓練基盤へ組み込んだ問題について、2026年7月に15億ドル(約2,200億円)の著作権集団訴訟和解が最終承認された。対象は48万2,000冊超で、裁判所によって、海賊版サイトから書籍を大量取得した行為を違法と認定された。自らは他者の著作物を大量に違法入手してビジネスを成り立たせたにもかかわらず、他社がClaudeの出力から能力を抽出した場合には「窃取」「攻撃」などと呼び、政府による対応まで要求する。つまり、知的成果の違法取得について、自社がパクれば人類のためのAI開発、他社が取得者である場合は窃盗や攻撃などと強い言葉を使って大騒ぎする。さらに、DeepSeekは、モデルウェイトのみならずAPI出力を利用した蒸留と商用化まで明示的に許可しており、日本企業もQwen・DeepSeek系モデルを用いた蒸留、追加学習および派生モデル開発を公然と実施している。これに対して中国政府が「能力の窃取」や「国家的攻撃」などとして制裁を要求した事実はない。自社の知的成果をオープンにして他国の技術発展を許容する中国企業と、海賊版書籍を大量取得して成立したのに全方位に倫理的説法を行うAnthropic、どちらが倫理的であるかは明らかであり、まさに盗人猛々しい企業である。出典: Bartz v. Anthropic和解、AP・Reuters(2026年7月)
拡張するAIスロップ — AIテンプレート問題-
DLSS 5事件(INT-26)は、従来のSLOP類型の定義では捕捉しきれない新しい現象を提示した。DLSS 5の出力は技術的ベンチマーク上は改善であり、品質が低いとは言えない。問題の本質は、AIが統計的に最適化した顔・テクスチャが、アーティストが意図的に作り込んだ個性を均質的なAIテンプレートに置き換えてしまうことにある。
AI顔はもはや人間が即座に認識できる特徴として定着しており、技術的品質とは無関係にAIっぽいという反応が生じる。これはAISP論文(AI Selection Pressure: Template Saturation and the Reshaping of Human Discernment.” Zenodo. https://doi.org/10.5281/zenodo.18751211)で指摘されたテンプレート飽和が逆方向に機能している現象であり、AIの出力パターンに大量に曝露された人間が、AIテンプレートを瞬時に検出する能力を獲得した結果である。NVIDIAのフアンCEOは「ゲーマーは完全に間違っている」「DLSS 5はポスト処理ではなくジオメトリレベルの生成制御であり、通常の生成AIとは異なるニューラルレンダリングだ」などと反論したが、これらは消費者の認知機能に影響を与えなかった。出力がAIテンプレートとして認識される限り、スロップとしての反発は発生する。
AI高速化で破綻する「人間による最終確認」— INT-113 Maven・Minab小学校攻撃
「最終的には人間が判断するからAIの判断を人間がきちんと確認すれば防げた」この事件をそう総括するのは誤りである。諸悪の根源は、担当者の能力不足や怠慢ではなく、AIによる処理速度の極端な向上が、人間の認知資源を圧迫する業務フローを生み出したことにある。
Bloombergの調査によれば、従来なら標的候補のリストアップに数時間を要していた作業は、Palantirの「Maven Smart System」の導入によりわずか数分に短縮された。開戦初日だけで1000を超える標的が攻撃され、Minabの標的選定にも30人以上の人員が関与している。それにもかかわらず、その施設がすでに学校として使われていることを示す証拠(学校のウェブサイト、Google Maps、2017年以降の構造変更、2018年以降の衛星画像など)は、誰一人として攻撃判断に反映させることができなかった。
一件の判断に数時間をかけられるのであれば、「現在の状況はどうか」「公開地図と齟齬はないか」といった確認は容易になる。しかし、大量の標的情報が数分単位で押し寄せる環境下では、一件あたりに割ける時間は削られ、やがてAI情報を検証する意欲をなくしていく。結果として現場の判断は、「データベースに軍事施設とある」「Mavenが候補として提示した」「前の担当者や法務も承認済み」といった既存のシステムへの盲従へと傾いていく。個々の専門家が知識を失ったわけではなく、初歩的な確認漏れが連鎖的に発生することはAIによる加速によってできあがっていたのだ。
人命に関わる高損失領域においては、AIの処理能力がいかに高かろうと、人間が検証可能な速度、具体的にいえばAI導入以前の人間一人当たりの検証速度にまで意図的にプロセス全体を減速させる設計が不可欠である。
システムのエラーや現場の不注意に責任を転嫁せず、この意思決定フローを設計・承認・運用した上層部への厳重な処罰は、より重大なAIインシデント(AIハルシネーションによる核戦争すらありうる)を防止する不可欠なプロセスである。まず、現場のオペレーター(承認に関与した約3ダースの担当者)を全員重大な処罰が必要である。さらに、「数分で標的を選定できるAI」の出力をそのまま実際の攻撃速度へ直結させ、さらに民間人被害軽減部門を10人から1人へ削減するという致命的な組織決定を下した指揮官や、システム導入のトップにも重大な処罰が必須である。人間が最終確認するから大丈夫と言い続ければ、著作権侵害のポンコツ機械と形骸化した人間監督による民間人の虐殺は、今後も通常運転として野放しにされ続けることになる。
関連する論文
[1] Naito, Hiroki. “The Supervision Paradox: AI Capability Growth Necessitates Usage Contraction in High-Loss Domains.” Preprints.org, Version 4, 30 March 2026. DOI: 10.20944/preprints202603.1507.v4.
[2] Naito, Hiroki. “Flow-by-Flow: Content-Judgment Bypass for Governing AI Output in High-Loss Domains.” Preprints.org, Version 2, 11 June 2026. DOI: 10.20944/preprints202604.1948.v2.
関連するAIインシデント(人間による最終チェックの破綻による実害事件)
[3] JP-0 Springer Nature「GPT-5は存在しない」事件。AI生成査読に含まれた重大な事実誤認をジャーナルが発見できず、実在するテーマとデータを「フィクション」と主張し、その後正当化のために調査まで捏造した事例。
[4] INT-5 Mata v. Avianca事件。ChatGPTが生成した6件の架空判例を弁護士が裁判所へ提出。弁護士自身がChatGPTに判例の実在性を再確認したが、AIは「実在する」と回答し、5,000ドルの制裁を受けた。
[5] INT-34 Sullivan & Cromwell AI偽引用事件。OpenAIの代理人を務める大手法律事務所で、AI利用ポリシー、研修制度、社内引用検証プロセスが存在したにもかかわらず、AI生成の架空引用を検出できなかった。
[6] INT-35 Phoenix Suns セクハラ訴訟 AI偽引用制裁事件。複数の裁判書面に少なくとも18件の架空判例・捏造引用が混入し、弁護士に制裁が科された。
[7] INT-51 カリフォルニア控訴審 AI偽引用依拠判決取消事件。相手方から架空判例であるとの指摘があったにもかかわらず、下級審判事がその内容を判断に取り込み、控訴審で判決が取り消された。
[8] INT-57 KPMG agentic AIレポート AIハルシネーション撤回事件。AI活用を助言する大手コンサルティング企業自身のレポートに事実誤認が含まれ、撤回・調査に至った。
[9] INT-85 PwC中東 AI助言レポート・架空引用事件、および INT-86 EY Canada ロイヤルティ不正対策レポート・架空引用撤回事案。専門家による企業・政府向け成果物にも、架空脚注、存在しない報告書、誤った帰属、確認不能な主張が混入した。
[10] JP-30 GPT-5.6 Sol誤情報出力によるUTIE Instruments Inc.代表セルフGOX事件。受取事業者の公式情報を確認すれば利用不可と判明する送金ネットワークについてChatGPTが誤案内し、利用者が実行した結果、金銭的損害が発生。
AIに極めて典型かつ平凡な「過去情報出力型ハルシネーション」が高損失領域で現実の虐殺へ直結した事例である。対象地点は実際に過去には軍事施設だったため、完全な架空情報を生成したわけではない。しかし、施設の用途がその後変化し、学校として運用されていることを示す衛星画像や公開情報が存在していたにもかかわらず、古い「IRGC施設」という情報がAIシステムによって伝えられた。Bloombergは、米軍内部でPalantirのMaven Smart Systemへの過度な依存があり、一部要員はMavenが誤情報や矛盾を自動的に警告してくれると期待していた。
これは、生成AIで日常的に観察される、最新情報を検索・照合すべき場面でそれを行わず、学習済み知識や既存データに含まれる古い情報から自信を持って嘘をつく典型的パターンと同じである。この種のハルシネーションは完全な捏造より危険である。過去には本当に正しかった情報を根拠としているため、AIは虚偽事実に対してもっともらしい説明や古いソースを提示し補強する。いったんこの「誤解モード」にAIが入ると、利用者から誤りを指摘されても、最新情報を再検索せず、既存の古い根拠を使って利用者に反論したり逆切れすることも珍しくない(Claudeの事例参照)。
この事件は同時に、AI導入時に繰り返されるモラル・クランプルゾーン化の典型でもある。形式上はAI単独で意思決定しておらず、情報分析、画像分析、標的審査、法的確認、指揮官による最終承認など、およそ3ダースの人間がキルチェーンに関与していた。それでも、古い施設分類は訂正されず、Mavenによって整理された標的候補が短時間で処理され、最終段階では「標的は合法か」「十分な情報があるか」「民間人被害を減らす合理的措置を取ったか」という確認項目すべてに人間による承認が付けられた。
この事件について「AIがミサイルを自律発射したわけではないためAIインシデントではない」という矮小化がなされる可能性がある。しかし、この定義では現実社会で最も頻繁に発生するAIインシデントの大部分を除外してしまう。実際のAI事故では、人間の業務フローへAIが組み込まれ、その出力・分類・要約・分析を文字通り人間全員が鵜呑みにし、確認作業を怠った責任者らが承認することで実害が発生する。一般企業でも、同じタイプのAI誤分析を人間全員が鵜呑みにし、誤った契約判断、架空引用、誤送金、誤診断、採用判断でのミスが起きることは珍しくない。MinabではAIが自信を持って古い情報を分析し、人間側には何重もの確認体制がありながら、その全員が誤りを止められなかった。