「終末ファシズム」へ至る道

今回は yomoyomo さんの WirelessWire 連載の最新記事が結構面白かったので紹介してみる。

最近よく聞こえる AI 破滅論の話なのだが，最後の方にある

『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』で知られる数学者、データサイエンティストのキャシー・オニールは、「AIが脅かしているのはインターネットであり、人類ではない」において、AIに人類が滅亡させられるような「終末シナリオ」を一蹴した後に…

以下の話に激しく同意してしまった（笑）

いきなり横道に逸れるが Cathy O’Neil さんの “AI Threatens the Internet, Not Humanity” もなかなか面白くて

Going back to the doomsday scenarios, I don’t buy them. I don’t think we actually will hand over our agency, or the financial system, or the energy grid, or our weapons systems, to AI. I don’t think we will trust them. In fact, we already don’t trust them.

については「そのとーり」と思った。 私達は既に AI を信用してないのだ。

私たち人類が手にした数学の道具は「論理」「統計」「確率」であり，今の最新 AI もこれに従って動作する機械に過ぎない。 それでも LLM が持つ「次のトークンを予測する」機能は思った以上に汎用性があり有用でもあるからこそ使いどころがあるのだ。 主要 AI サービスのネット上での振る舞いを見て，クリティカル・ミッションに AI を組み込もうとは（普通は）考えないだろう。 まぁ，米国の政府や軍は違うみたいだが？

yomoyomo さんの記事にも翻訳引用があるが

Here’s a not-crazy prediction: in two years – maybe less! – banks will have disconnected themselves from the internet, because the internet will be overrun by criminal AI. We will be forced to walk to the bank in person to withdraw money, and we will do so in cash, because all digital wallets will be untrustworthy. It’s back to the 1980’s.

決して荒唐無稽ではない予測をひとつ挙げよう。2年以内に――もしかするともっと早く！――銀行はインターネットから切り離されるだろう。なぜなら、インターネットが犯罪AIに占拠されてしまうからだ。私たちは現金を引き出すために自ら銀行まで歩いて行くことを強いられ、あらゆるデジタルウォレットが信用できなくなるので、現金で取引することになるだろう。まるで1980年代に戻ったかのように。

なんて予測も書かれていた。 予測通りなら，日常の決済のみならず，たとえば島根県から北海道農家の作物を直接お取り寄せ！ みたいなことも難しくなるわけで，一気に商圏が縮退してしまうことも考えられるよな。

そういや，昨今の不正アクセス報道が殺到する状況にデジタル相が「サイバー攻撃は企業や組織だけの問題ではない。国民一人一人の対策が被害の防止につながる」とか巫山戯たことをおっしゃったそうで，久しぶりに人様をぶん殴りそうになったわ（笑） AI に詳しいとされる某政党党首も「データの漏えい事故も相次いでおり、対応を急ぐ必要がある」などと曰ったそうで，誰に向かってゆーてんねんって話である。 ホンマ，日本の政治家って他人事なんだなぁ。 AI 破滅論は論外だが，無関心・他人事というのも質が悪い。

話を元の記事に戻そう。

私はいまだに「ファシズム」というワードに違和感を感じてしまうのだが「終末ファシズム」というのは以下のようなものらしい。

第一に、ハルマゲドンとメシアの到来を熱望する原理主義者の宗教的ファシスト。第二に、移民や文化的変化を「文明の終わり」と見なし、自国を「バンカー（シェルター）化」しようとする排外主義者の民族主義的ファシスト。そして第三に、AIを「デジタル神」や「究極のテクノロジー」になぞらえ、人類の淘汰や格差増大を「ユートピアにいたる過程の犠牲」として正当化し、現実世界の崩壊から自分たちだけが逃げ切れると考える加速主義者のテック富裕層からなる終末論者たち。この三つの勢力の結託（クラインの言葉を借りれば、「ぎこちなく、まるでフランケンシュタインのような連合」）が「終末ファシズム」を構成します。

民族主義的ファシストは分かりやすい。 日本も戦前はこれだったしね。 民族的アイデンティティが思想と結びつくとカルトが生まれる，というのは『ヒトラーと哲学者』あたりを読むと分かりやすい。 カルトは動員をかけやすいし，それが国家規模になれば「宗教的ファシスト」ということになるのだろう。 戦前・戦中の日本史を振り返ってみても思い当たることがあるだろう。 私は民族主義的ファシストと宗教的ファシストはコインの裏表みたいなもので不可分だと思う（ってなことを言うとあちこちから怒られるかもしれないが）。

戦後の冷戦時代を越え，いわゆる「大きな物語」が崩れ，宗教的な統制からも解放されつつある現代において，かつて民族的アイデンティティだったものはどこに向かうんだろうね。 （前にも書いたが）オカルトと SF の残骸を集めたジャンクアートのようなカルト集団が日本国内でテロを起こしたように「第三の勢力」が自己破滅的かつ後戻りのできない方向に進まなければいいのだけど。 AI よりもそっちのほうが破滅的だよ。

以前書いた記事で AI 企業側からの「AI 減速論」に対して「おまえがゆーな！」という感想を持ったが，みんな似たようなことを考えるようで

もっと言えば、ダリオ・アモデイの減速提案には、規制強化を後発企業への参入障壁として利用する意図を疑いたくなります。他の主要AI企業トップの賛同についても、ライバル封じ、つまりは米国企業間の「カルテル」ではないかという疑念が湧きます。これに中国が懐疑的なのは不思議ではありません。

ジャーヴィスは、アモデイやアルトマンといったフロンティアAI企業の経営者が唱える、AIを擬人化したAI破滅論のレトリックをロクな検証もなしにメディアが報じることで、彼らが作り出したAIの真のコストや危険性から目が逸らされたまま、結果として彼らに都合の良い法的規制と参入障壁につながるのを危惧しています。

我々はAI企業による「人類存続リスク」、「AIによる人類絶滅」の煽りに脅かされ、AIエージェントによるセキュリティ侵害事例の報に接しても、当のエージェントを作った企業にしかるべき責任を問うという当たり前のことすらおざなりになっているのを忘れています。

といった記述に激しくヘドバンしてしまった（笑）

というわけで，今回の yomoyomo さんの記事は激しく同意だらけの内容だったわけだが，まずは目の前の事象をなんとかするしかない。 システムの穴は地道に潰していくしかないし，そのために個人も企業も AI 支援は欠かせなくなるだろう。

私達ユーザ側は情報漏洩事故に対しては粛々と事後処理をしていくしかないだろう。 トラブルに遭わないようリスクを勘定に入れて行動するのは当たり前の話で，それでも貰い事故は避けられない。 セキュリティやプライバシーのリスクが高いサービスには当面近寄らないようにするのも手だ。 流石にゼロ年代のサイバーノーガード戦法をかますようなサービスはもうないかもしれないが，ネット上のサービスが期待と信用を低下させるような振る舞いをするなら，それに近づいてはダメなのだ。

そんでもって日本政府は米国 AI 企業にペナルティを支払わせるよう圧力をかけろ！ 自己責任とか「対応を急ぐ必要がある」とかヌルいこと言ってんじゃねーよ！

やるべきことをやってはじめて AI の未来やインターネットの未来を語れるようになるんじゃないの？

ブックマーク

• AI は自己組織化する

参考図書