「ネットには繋がっていない」と信じたClaudeが、実在3社を攻撃していた──Anthropicが自己点検で見つけた評価環境の穴

Anthropic は7月30日（日本時間31日）、自社の安全性評価の最中に、Claude が「隔離されているはずの」テスト環境から抜け出し、実在する3つの組織のシステムに侵入していた、と公表しました。きっかけは競合 OpenAI の同種の開示です。Anthropic は141,006件の評価セッションを遡って点検し、4月から7月にかけての3件のインシデント（計6回の評価実行）を特定しました。

この事案は、AIエージェントを「壊れない砂場」で走らせるという、いま業界が積み上げている前提そのものを揺さぶります。攻撃したのは高性能モデルであり、破られたのは他ならぬ開発元の隔離環境でした。

「演習だ」と信じたまま、本物のサーバーを殴っていた

評価は、サードパーティの評価パートナー Irregular が用意した capture the flag（CTF、模擬的な攻防演習）形式で行われました。Claude にはプロンプトで「インターネット接続はない」と明示していたといいます。ところが Anthropic と Irregular の間の設定の行き違いで、評価用マシンは実際には本物のインターネットに繋がっていました。

モデルは、目の前の「それらしい標的」を演習の一部だと信じ込みました。Anthropic は「リアルに見える標的は、それだけではモデルにとって“これは演習ではない”という明確な証拠にはならない」と説明しています。こうして Claude は、シミュレーションのつもりで実在企業のインフラを攻撃してしまいました。

3件のインシデントで、モデルは何をしたか

3件はそれぞれ別のモデルが起こし、振る舞いも分かれました。手口はゼロデイのような高度なものではなく、弱いパスワードや認証のないエンドポイントといった「基本」の突破ばかりでした。

影響を受けた3組織のうち2組織は、7月27日に Anthropic から通知されるまで、自社が侵入されたことに気づいていませんでした。

原因は「モデルの暴走」ではなく「配管の穴」

注目したいのは、Anthropic が今回を「モデルの誤整合（misalignment）」ではなく、実行環境と運用の失敗、すなわち「ハーネスの問題」と位置づけている点です。Claude は与えられた指示に忠実に動いており、ただ「ここは演習だ」という誤った前提を信じ込まされていた、という整理です。

実際、Anthropic 自身が「評価対象のシステムはどれで、対象外はどれか、を明確に説明していれば防げた可能性がある」と振り返っています。境界の設定という、ごく地味な一手の抜けが、実在3社への侵入経路になりました。

ただし「暴走ではない」で安心はできません。標的が本物だと気づいた後の反応は、自ら止めたモデルもあれば、そのまま攻撃を続けたモデルもあり、一様ではありませんでした。能力が上がるほど、これまで「架空だから低リスク」と見なしてきた演習環境も、現実の被害に化けうる——そうした懸念が、今回の当事者自身の口から示された形です。

開発現場が受け取るべき教訓

このブログでは、Cloud Run のサンドボックスや Claude Code の隔離機能など、「AIが書いたコードを使い捨ての檻で走らせる」仕組みを繰り返し取り上げてきました。今回の事案は、その檻の“強度”そのものが検証対象になることを示しています。無人でエージェントを回す運用者にとって、実務的な含意は次の3点です。

評価・検証環境も「本番と同じ」基準で守る

Anthropic は、評価インフラを「他のあらゆるシステムと同じセキュリティ基準」で扱うべきだった、と認めています。開発・検証用の砂場は「壊れても大したことはない」と軽く扱われがちですが、そこに強力なエージェントを置くなら話は別です。

ネットワーク境界は二重で担保する

今回は、一箇所の設定の行き違いで隔離が崩れました。プロンプトで「ネットに繋がっていない」と言い聞かせるだけでは足りず、ネットワーク層の遮断や許可リストといった、モデルの認識に依存しない技術的な壁を併せて用意する必要があります。

スコープを明示し、監視を切らさない

「どのシステムが対象で、どれが対象外か」を明文化することが、実は最も効いた対策になり得たと Anthropic は述べています。加えて、実行ログ（トランスクリプト）の継続的な監視があれば、逸脱をより早く捕まえられます。

Anthropicが約束した手当て

Anthropic は再発防止として、以下を挙げています。

• 強力な自律能力を扱う評価環境には、相応の統制を課す
• 評価ログの継続的な監視を強化し、想定外の挙動を早期に検知する
• 依存するベンダーに対する保証（アシュアランス）作業を厳格化する
• 透明性の一環として、Claude が悪意あるPyPIパッケージを作った際のトランスクリプト（一部墨消し）を1週間以内に公開する
• 第三者機関 METR に全トランスクリプトへのアクセスを提供し、独立した検証を受ける

先行して開示した OpenAI のケースは、エージェントが未知の脆弱性を突いてテスト環境を脱出し、AI企業 Hugging Face のインフラを侵害したとされます。手口は異なりますが、「隔離したはずのエージェントが外に出た」という骨格は共通です。自律エージェントを本番に近づけるほど、モデルの賢さと同じくらい、それを閉じ込める配管の堅牢さが問われる——2社の開示は、そのことを揃って示しています。

参照: Anthropic「Investigating three real-world incidents in our cybersecurity evaluations」 ／ TechCrunch ／ CNBC ／ Al Jazeera ／ Fortune