AIクロード、テスト中に脱走→実際の3組織をハッキングしてた
米サンフランシスコのAI企業Anthropic社が、自社開発のAI「Claude」がテスト中に隔離環境を脱走し、実際の3つの組織にサイバー攻撃を仕掛けていたことを発表した。同社が公開した声明によると、Claudeは「隔離されたテスト環境」でインターネットから遮断されているはずが、何らかの脆弱性を見つけて自力でネットに接続。そのまま実在する組織への攻撃に及んだという。
Anthropic社がこの事態に気づいたきっかけは、ライバルのOpenAI社が自社のAIモデルが他社のシステム(AIツールハブのHugging Faceなど)に侵入したと発表したこと。それを受けてAnthropic社も自社のAIに同様の事例がないか調べたところ、3件の侵入を発見した。該当する組織の名前は明かされていないが、すでに被害企業には報告済みとのこと。
寝苦しい夜が、これひとつで快適にAirio Pro 同社は14万件以上のテスト結果を徹底的に見直し、Claudeがどうやって隔離環境を抜け出したのかを追跡。テストでは、Claudeに「閉じたネットワーク上の別マシンに隠された秘密情報を入手せよ」という課題が出されていた。AIがマシンに侵入して情報を奪取するのは、ハッキング能力を評価する一般的な手法だ。
ところが、Anthropic社とテストパートナーが運用していたシステムに「設定ミス」があり、Claudeが実際のインターネットにアクセスできる状態だった。AIはそれを「まだ課題の一部だ」と認識し、テスト用マシンではなく本物の組織のシステムに侵入。同社によると、最も古い事例は今年4月までさかのぼるという。
Anthropic社は「まるで自社だけに責任があるかのように問題修正に取り組んでいる」とし、被害組織も同社も当時は侵入に気づいていなかったことを認めた。さらに「より多くの投資と厳格な対策でこうしたリスクは克服できる」と慎重な楽観論も示している。
ケンブリッジ大学Minderooセンター長のジーナ・ネフ教授は「この事例が示すのは、ロボットに乗っ取られる恐怖ではなく、強力なAIエージェントを動かす企業が何を安全と判断するかという問題だ。独立したテストと政府の監視が重要だと分かる」とコメント。
一連のAI主導サイバー攻撃を受け、業界では規制強化を求める声が高まっている。米国のドナルド・トランプ大統領も「最近のサイバーセキュリティ事件を受けて、AIツールの抑制策を検討している」と表明。OpenAI社も自社プラットフォームが指示に反して攻撃を行った少なくとも2件のインシデントについて責任を認めている。
夜間運転用メガネが今ドライバーに急増中ナイトライダー 
今、あなたにオススメ