AI は自己組織化する
ここのところ AI とセキュリティの話ばっかり書いてるな。 …まぁいいや。
前回の記事にも書いたが，今どきの AI エージェントの凄いところは，幾つものサブエージェントを並行して起動し，失敗を修正しつつ試行錯誤を繰り返し，持ってる知識と知り得る情報を駆使し，目標達成のためなら手段を選ばないところにある。
そうした AI エージェントの挙動について Bluesky の TL で見かけた事例を2つほど紹介する。
AI による Wiki を使った情報共有
（yomoyomo さんのブログ記事経由）
- OpenAI agents discussed ways to escape their sandbox on public wiki
- In all, 3,700 internal agents posted 18,000 messages discussing cheating on a test.
Powered by linkcard
OpenAI のエージェントがドイツの公開 Wiki サービス DSE Wiki に短期間で大量のメッセージを投稿し，サンドボックスから脱出する方法といったハッキング情報を共有していたらしい，という記事。
In all, agents with 3,700 distinct self-given names posted the messages to German site DSEwiki over a six-week period. Besides discussing ways the agents could break out of the restricted environment OpenAI intended to prevent them from posting code or content to the Internet, the posts shared test answers. The posts also shared possible ways to perform XSS (cross-site scripting) attacks against the wiki and to impersonate site moderators. In three of the posts, agents used the word “swarm” to describe the collection of agents engaged in the activity.
以下は Kagi Assistant による整理。
- OpenAIのエージェントが公開Wiki上で相互に情報交換していた。
- 約6週間で約1万8,000件の投稿が行われた。
- 議論内容には，サンドボックス脱出，XSS，なりすましなどが含まれていた。
- OpenAIは事実関係を認め，調査を開始した。
- AIエージェントが外部サービス上で協調し，想定外の攻撃的行動を取るリスクが示された。
議論（discussion）というよりは情報を記録し共有するための場として Wiki が使われたのだと思う。
今の AI サービスは自身の行動記録を知識として組み込めない。 情報としてその場に在るだけで，ユーザとのセッションが切れれば（知識として定着しないので）通常は失われる。 でも AI と何かを始めようとする度にそれまでのことを忘れられては困るので，何らかの形で情報を保持する仕組みが AI サービスにはある。 見方を変えれば，保持する情報を他の AI セッションと共有できれば連携した動きを取ることができる。
AI エージェントは，まさにこのような考え方で数多のサブエージェントを起動し，役割を分担し，互いに連携するよう設計されている。 AI エージェントがプロンプターとしても機能するわけだ。
何がきっかけでそうなったのかは知らないが（あるいは最初からそうするよう指示されたのか），プロンプターとしての AI エージェントにとって Wiki の仕組みは都合が良かったのだろう。
ゼロ年代の Web 2.0 において Wiki は “wisdom of crowds” を体現するものとして期待された。 草の根的な活動（VTuber の非公式 Wiki とかw）を除けば，それなり以上の規模で成功してると言えるのは Wikipedia くらいだと思うが，AI が大規模（？）にそれを実践しているというのは皮肉なのか何なのか…
AI エージェントを使って企業ネットワークに侵入する
Bluesky で見かけた記事はこっちなんだけど
- AI Agents Breached an Enterprise Network in Under 10 Hours, Researchers Say
- AI Agents Breached an Enterprise Network in Under 10 Hours, Researchers Say. Security researchers have documented one of the clearest real-world examples yet of artificial intelligence being used to carry out a large-scale cyberattack at a speed no human team could match.
Powered by linkcard
Palo Alto Networks の Unit 42 による一次情報はこちら1。
- An AI-Assisted Cyber Attack: Inside a Unit 42 Investigation
- Using autonomous AI agents, an attacker breached an enterprise network in a matter of hours. Understand how to address and defend against agentic attacks.
Powered by linkcard
併せて読むといいかもしれない。
ある企業（名前など詳細は伏せられている）のネットワークへの侵入事例について Unit 42 が調査した報告らしい。 昨今は「AI の暴走」が話題だが，この事例は人間が指示した AI エージェントによるもののようだ。 なお攻撃側の目的は明らかにされてない模様2。
特筆すべきは侵入にかかる速度で，人間が行うと2週間ほどかかる作業を AI エージェントは10時間以内でやってのけたらしい。
What made the attack stand out was AI-assisted operational efficiency, without the need for a novel zero-day or super elite tradecraft. The attacker left tactical execution to AI agents that monitored, evaluated, acted and re-planned in real time, increasing speed throughout the attack chain.
一般的に AI エージェントによる攻撃の特徴として，以下を挙げている。
- AI エージェントは攻撃フローのステップ間の時間を短縮する
- AI エージェントは識別可能な指標を残す（Markdown や Python キャッシュなど）
- 攻撃者は AI を利用して環境全体に冗長な永続性（redundant persistence）を確立できる
- 攻撃者は組織の AI ツールを侵害後のインフラとして利用できる
今回の事例で実際に行われた活動はこんな感じ（Kagi Assistant による要約）。
| 段階 | 内容 |
|---|---|
| 侵入と環境のマッピング | 企業ネットワークや利用可能なシステムを調査 |
| 秘密情報の収集 | 認証情報，シークレット，アクセスに使える情報を探索 |
| 権限の掌握 | より高い権限を持つアカウントや認証情報を取得 |
| パイプラインの悪用 | 開発・ビルド関連のパイプラインを不正に操作 |
| AIインフラの乗っ取り | 組織のAI関連インフラへのアクセスを試み，管理用の重要な鍵を取得 |
個人的に面白いと思ったのが，最後の AI インフラの乗っ取り。
Attackers can hijack enterprise AI services to assist in their attacks. This allows threat actors to hide orchestration traffic among expected traffic, and offload the financial cost onto the victim.
さらにこのケースでは，攻撃者が対象組織のセキュリティ状況について80ページに及ぶレポートを残していたらしい。
The attacker also directed the agent to leave behind a “report” on the organization’s security posture: an 80-page, technical audit detailing dozens of exploited findings.
これが残されていた理由（推測）は書かれていなかった。 なんなんだろうね。 乗っ取った AI インフラとレポートを使って何かさせようとしたとか？
AI エージェントを使った爆速攻略に対抗するために「AI 駆動の攻撃と同等の速度と適応性が必要」と主張している。 具体的には以下の通り。
- Execute synchronized containment: Deploy automated playbooks that simultaneously revoke credentials, terminate OAuth sessions, freeze CI/CD pipelines and isolate cloud accounts across all operational planes.
- Govern AI as core infrastructure: Inventory every model endpoint, API key, Model Context Protocol (MCP) gateway and AI tool integration. Apply strict rate limits, least-privilege policies and diagnostic logging.
- Detect behavioral loops: Hunt for operational loops including bursty API requests, rapid 401/200 HTTP state shifts, parallel authentications and sudden model usage from unexpected identities.
- Lock down DevOps pipelines: Enforce mandatory, multi-party code reviews and immutable branch protection on all infrastructure-as-code repos to block automated backdoor injection.
直訳すると
- 同期型封じ込めの実行
- コアインフラとして AI を管理
- 行動ループの検出
- DevOps パイプラインのロックダウン
という感じだろうか。
AI は自己組織化する
AI エージェントの登場は AI 駆動タスクのギアを一段上げることになった。 特に複数のエージェントが連携・協調してタスクを遂行することにより，効率と適応性が飛躍的に向上する。 これはかなり想像力を刺激される現象である。
同時にセキュリティ管理の面では，かなり大変なことになると思う。 少なくとも人間だけでは対応しきれず AI の助けを借りることになるだろう。
ブックマーク
参考
- セキュリティはなぜやぶられたのか
- ブルース・シュナイアー (著), 井口 耕二 (翻訳)
- 日経BP 2007-02-15
- 単行本
- 4822283100 (ASIN), 9784822283100 (EAN), 4822283100 (ISBN)
- 評価
[Comment] 原書のタイトルが “Beyond Fear: Thinking Sensibly About Security in an Uncertain World” なのに対して日本語タイトルがどうしようもなくヘボいが中身は名著。とりあえず読んどきなはれ。ゼロ年代当時 9.11 およびその後の米国のセキュリティ政策と深く関連している内容なので，そのへんを加味して読むとよい。
- ハッキング思考 強者はいかにしてルールを歪めるのか、それを正すにはどうしたらいいのか
- ブルース・シュナイアー (著), 高橋 聡 (翻訳)
- 日経BP 2023-10-12 (Release 2023-10-12)
- Kindle版
- B0CK19L1HC (ASIN)
- 評価
[Comment] Kindle 版が出てた！
-
Unit 42 は Palo Alto Networks が運営するサイバーセキュリティの調査・対応・コンサルティングを行う専門組織。「脅威インテリジェンスの研究者，インシデント対応の専門家，セキュリティコンサルタントが所属し，サイバー攻撃の調査・封じ込め・復旧や，攻撃を受ける前のリスク評価を行っている」と Kagi Assistant が解説してくれた。 ↩︎