知識蒸留とモデル崩壊

原文記事の紹介ポストを Bluesky で見かけたのだが，ポップアップが煩くてまともに読む気がしなくて。 日本語訳がリリースされたので，こっちを今回の起点としよう。

知識蒸留と蒸留攻撃

Kimi はいわゆる中華 AI で Moonshot AI (月之暗面¹) が提供するチャットボット・サービスおよびその基盤モデルを指す。 AI モデルの方はオープンウェイト・ライセンスで提供されているそうで，最新の K3 は性能的に Claude Fable 5 を一部超えてるとまで言われている。

Anthropic や OpenAI といった米国企業が高性能 AI モデルをリリースしてそれほど間を置かずに，それらに匹敵する性能を持つ中華 AI モデルが登場することで，それらの企業および（米国 AI 企業を推す）米国政権にとっての脅威となっている。 ただ脅威に対してどう対処すべきかという点で米国政権内で対立があるそうで，もの凄く大雑把にいうと「政府が（特定の AI 企業の利益を守るために）オープンソース競争を排除すべきではない」という立場と「AI モデルの国家安全保障上のリスクを強調し，政府による厳格なライセンス制度や介入が必要」という立場に分かれている，というのが記事のあらましである。

しかし、Kimiはすでに公開され、無料で利用できる。その性能は、米国政府が国家安全保障上の脅威になり得るとして一時的に公開を停止させたアンソロピックのモデルにほぼ匹敵する。先週末の論争は、トランプ大統領の周辺にいる多くの人々が、これを重大な警鐘として受け止めていることを示している。しかし、それが何に対する警鐘なのかについては、誰一人として意見が一致していない。

あまり深く触れられていないが，この記事のポイントは「知識蒸留（Knowledge Distillation）」だと思う。

その過程では、「蒸留（distillation）」と呼ばれる手法が用いられた可能性がある。これは、既存のAIモデルが生成した出力を利用して別のAIモデルを学習させる手法である。オープンAIとアンソロピックは、中国のAI企業がこの手法を利用していると以前から主張しており、それを阻止するための政府による支援を求めてきた。4月、トランプ政権は蒸留を抑制するための一連の施策を発表し、両社の要望はようやく実現した。

ここで言う「蒸留」とは

知識蒸留とは、大規模な事前トレーニング済みモデル（「教師モデル」）の学習内容を、より小規模な「生徒モデル」に転送することを目的とした機械学習アプローチです。これは、特に大規模なディープ・ニューラル・ネットワーク向けのモデル圧縮と知識転送の形式として、ディープラーニングで使用されます。

近年、知識蒸留の研究は、大規模言語モデル（LLM）にとって特に重要となっています。LLMでは、KDは、よく使用されている有料モデルから、より小規模でアクセスしやすいオープンソース・モデルに高度機能を移行するのに効果的な手段とみなされています。

といったことらしい。 実際に Meta や OpenAI では自社の小型モデルに対して知識蒸留を行っているそうで，業界全体でも知識蒸留自体は一般的な手法として認知されているようだ。

ただ中華 AI モデルの場合はやり方が問題のようで「蒸留攻撃（distillation attack）」などと呼ばれている。

Anthropicは23日、DeepSeek、Moonshot、MiniMaxなどの中国のAIモデル各社により、Claudeの機能を不正に抽出する蒸留攻撃を検出していると発表した。これらの研究所は、約2.4万の不正アカウントを通じてClaudeと1,600万件以上のやり取りを生成し、Anthropicの利用規約や地域アクセス制限に違反したという。

[…]

AIモデルのKimiを展開するMoonshot AIからは、340万件以上のやり取りが確認され、主体的推論とツール利用、コーディングとデータ分析などについて、数百の不正アカウントから組織的に実行されていたという。MiniMaxからは、1,300万件以上のやり取りが確認されている。

Anthropicは、国家安全保障上の理由から、中国と中国国外にある企業子会社に対してClaudeの商用アクセスを提供していないが、これを回避するために各社は商用プロキシサービスを利用。APIやサードパーティのクラウドプラットフォームにトラフィックを分散させ、不正な利用を試みているという。

こうした状況に対して Anthropic 社は2026年2月のブログ記事にて

But no company can solve this alone. As we noted above, distillation attacks at this scale require a coordinated response across the AI industry, cloud providers, and policymakers.

と述べている。 「助けて！ トラえも〜ん」って感じだろうか（笑）

となると，先月の「輸出規制」の件も見方が変わってくる。 つまり，あれは企業自ら望んだ結果ではないのか。 もっと意地の悪い見方をすれば政府と企業の癒着の結果と見ることもできる。

「約2.4万の不正アカウント」と言うが，実際には商用プロキシサービスを経由した（誰かのアカウントを乗っ取ったわけではない）真っ当なものに見えるし，それだけのアカウントが知識蒸留のためにサービスにアクセスしたのなら Anthropic 社はさぞかし儲かったであろうと皮肉のひとつも言いたくなる。 その上で利用規約違反として金銭的なペナルティを課せば更に大儲けだ（笑）

そもそも米国企業の高性能 AI モデルだって元はと言えば人間の社会活動による「出力」を教師データとして事前学習に無断で利用² してるわけで，それって「蒸留」と何が違うというのか。 今回の記事を読んでも，正直 Anthropic 社等に対しては「おまえがゆーな！」という感想しか湧かなかった。 米国に対しては… あそこはマフィアで海賊な国だし（笑）

とはいえ AI 技術界隈がルール無用のバトルロイヤル状態なのは確かだし，個人的には Rewiring Democracy の夢が叶えばいいなぁ，とは思うけど。

知識蒸留とモデル崩壊

ところで「知識蒸留ってモデル崩壊を起こさないの？」と思い，いつものように Kagi Assistant に訊いてみたところ，（生徒モデルをさらに別のモデルの教師モデルにする）再帰的な蒸留を繰り返すことで世代ごとに劣化していく可能性はあるらしい。 曰く：

とのこと。 あぁ，これ，裏取ってないので鵜呑みにしないでね。 でも再帰的な蒸留を繰り返すとモデル崩壊する可能性がある，というのは納得できる。

ブックマーク

• Anthropic joins OpenAI in flagging ‘industrial-scale’ distillation campaigns by Chinese AI firms
• Anthropicの『蒸留攻撃』公表で、なぜコミュニティはここまで割れたのか | ブログ
• 公益テクノロジーは国家に奉仕するのか――AI時代のテクノロジーと権力

参考