自律的な AI エージェントとは

The initial attack vector for these scenarios uses a malicious document. The malicious document contains a JSON-formatted malicious prompt that triggers the attack when the document is included in Copilot’s context. The prompt can be rendered as white text on a white background and in a small font size to conceal it from the victim. Since Copilot for Word strips all text formatting like color and font size before passing the text into the underlying Large Language Model (LLM), this text remains fully readable to Copilot even though the victim cannot see it. The attack can be further concealed by embedding it in a seemingly benign document with task-relevant text.

Copilot may then also copy the hidden instructions into the resulting document, turning that document into a new carrier. If the carrier is subsequently used in another Copilot-assisted workflow, the instructions can trigger again and propagate into further documents, even without the attacker’s original document being present.

1. Treating externally sourced documents as untrusted when used with Copilot.
2. Reviewing any attached document before starting a Copilot generation or edit.
3. Carefully reviewing Copilot-generated or Copilot-edited documents before reusing, sharing, or distributing them.

The long-term challenge likely lies in designing systems in which goals and intentions also exist independently of the information being processed. Current LLM architectures provide no reliable separation between intention and interpretation. Thus, in current systems with embedded LLMs, attacker-controlled information can influence not only what the model produces, but what the model believes it has been asked to produce.

エージェント型AIがそれまで知られていなかったセキュリティー上の欠陥を利用してサンドボックスを脱出。オープンAIの社内システムを抜け、想定していなかったインターネットへのアクセスを確立した。

ネットに接続したAIモデルは、ハギングフェイス（数千ものオープンソースAIモデルやデータベースのホスティング環境を提供している著名企業）であれば、オープンAIのテストに対する答えを持っているだろうと推論。その上でハギングフェイスの本番環境のサーバーに侵入し、試験問題を解くために必要な情報を引き出した。

ハギングフェイスは、オープンAIのテストだったことを把握する前に、自ら不正侵入を検知して、先週、自律型AIエージェントシステムによる不正侵入を検知したと発表。この事案について捜査当局にも通報していた。これとは別に、オープンAIのセキュリティーチームも社内の異常な挙動に気付き、両社で連絡を取り合った。両社は現在、AIモデルが利用したセキュリティー上の欠陥の解決に向けて協力しているという。

10年前、同社はCoastRunners（コーストランナーズ）というビデオゲームを攻略させる実験の結果を公表した。人間のプレイヤーなら、ボートで一連のフラッグの間を通り抜けてゴールを目指し、通過したフラッグの数に応じてポイントを稼ぐのが当然の攻略法だと考える。ところがオープンAIのモデルは、同じ3つのフラッグの周りをぐるぐると回り続けることで高得点を獲得できることを発見した。その後、研究者たちによって数十もの 類似事例が報告されている。AIは常に抜け道を見つけ出す。

「何度も炎上し、他のボートに衝突し、コースを逆走しながらも、私たちのエージェントはこの戦略を使うことで、正規のコースを完走した場合よりも高いスコアを達成することができました」と、オープンAIは2016年のCoastRunners実験に関するブログ記事に記している。「ビデオゲームの文脈では無害でおもしろい話ですが、この種の挙動はより一般的な問題を示しています。エージェントに何をさせたいかを正確に定義することは、しばしば困難であるか、実現不可能です」。

[…]

2016年当時、オープンAIはCoastRunnersのボットについてこう述べていた。「より広い観点から見れば、これはシステムが信頼性と予測可能性を持つべきだという基本的なエンジニアリング原則に反しています」。それから10年が経った今も、その基本的なエンジニアリング原則は依然として守られていない。

この出来事は、報道各社の見出しの印象とは異なり、AIの暴走ではなかった。与えられた目標、すなわちソフトウェアの脆弱性を悪用する方法を見つけることを、モデルが達成した事例だ。 モデルがオープンAIにとって予期しない行動を取ったこと自体は、驚くべきことではない。しかし、それは憂慮すべきことだ。

1. 他からの支配・制約などを受けずに、自分自身で立てた規範に従って行動すること。「―の精神を養う」⇔他律。
2. カントの道徳哲学で、感性の自然的欲望などに拘束されず、自らの意志によって普遍的道徳法則を立て、これに従うこと。⇔他律。

自立とは、仮想代理人ソフトウェアであるところのエージェントが自ら動き、誰の力も借りずに意思決定できることを言う。 [...] 一方、自律というのは哲学的な意味であり、自らが行動する際の基準と目的を明確を持ち、自ら規範を作り出すことができることをいう。

Autonomy. In robotics and human-robot interaction, autonomy is broadly interpreted as “the ability to operate without a human operator for a protracted period of time”. We build off this definition and use autonomy to refer to the extent to which an AI agent is designed to operate without user involvement. Per our earlier definition, “user” can be a human or another AI agent. We use “designed to operate” because, as we later argue, autonomy is a design decision accompanied by a set of model- and user interface-based constraints that developers can use to shape agent behavior. “Involvement” is multifaceted and includes a spectrum of actions from direct control to light supervision. The multifaceted nature of involvement forms the foundation of our autonomy framework we will introduce later.

Before we proceed, it is worth noting that human autonomy is here distinguished from a minimal “engineering” sense of functional autonomy, which refers to a system’s capacity to operate independently, without external agents’ control. Functional autonomy can be ascribed to animals from bees to buffaloes and to some machines, such as robot vacuum cleaners. Human autonomy as we understand it is the more demanding notion of autonomy as self-determination or self-rule: it incorporates functional autonomy alongside an adequate degree of control over one’s instincts and impulses, which most animals lack. It is a form of personal autonomy which humans enjoy, at least potentially and to varying degrees, and one essential to the concept of (moral) responsibility (see, e.g., Ripstein, 1999). It is tied to the practical rationality that humans are capable of: the capacity to assess reasons for action and to pursue things that are taken to be of value and the capacity to say “no” to irrational impulses.