自家中毒を起こす AI

Generative chatbots do this work by ‘predicting’ responses rather than ‘knowing’ the meaning of their responses. This means chatbots can produce coherent sounding but inaccurate or fabricated content, referred to as ‘hallucinations’. When humans use this untruthful content for tasks, it becomes what we call ‘botshit’.

We find that use of model-generated content in training causes irreversible defects in the resulting models, where tails of the original content distribution disappear. We refer to this effect as Model Collapse and show that it can occur in Variational Autoencoders, Gaussian Mixture Models and LLMs. We build theoretical intuition behind the phenomenon and portray its ubiquity amongst all learned generative models. We demonstrate that it has to be taken seriously if we are to sustain the benefits of training from large-scale data scraped from the web.

Just as we’ve strewn the oceans with plastic trash and filled the atmosphere with carbon dioxide, so we’re about to fill the Internet with blah. This will make it harder to train newer models by scraping the web, giving an advantage to firms which already did that, or which control access to human interfaces at scale. Indeed, we already see AI startups hammering the Internet Archive for training data.

Tens of thousands of requests per second for our public domain OCR files were launched from 64 virtual hosts on amazon’s AWS services. (Even by web standards,10’s of thousands of requests per second is a lot.)

皮肉なことに、AI企業自身がこの問題の火種を作っている。GoogleやMicrosoftによる「AI検索」の全面的な推進は、検索エンジンがウェブページへのリンクを返すのではなく、そのコンテンツを要約する未来を想定している。しかし、そうなれば誰がウェブを書くだろうか。あなたの書いたものを見つけられるのはAIのクローラーだけで、しかもそのAIはあなたの書いたものを自分のトレーニングの餌にするだけで、読者にあなたの書いたものを紹介する気は毛頭ない。AIが検索を支配すれば、オープンウェブはAIの工業的畜産場（CAFO）となり、検索クローラーはますます肥溜めからクソを吸い上げるようになるだろう。

かつては、一部の作家や読者がSFを予言と勘違いしても、さして問題にはならなかった。SF＝予言という妄想に駆られた人々に、社会を間違った方向に再構築する力がなかったからだ。しかし、SFに取り憑かれたテック億万長者たちが、我先に「人類苦悩化システム（torment nexus）」の発明に乗り出すに至っては、SF作家たちは作り物のお話と予言とを明確に区別しなくてはならなくなった（例「サイバーパンクは警告であって提案ではない」）。

コリイ・ドクトロウは、実際にものを作る人の多くが SF にインスピレーションを受けているのは否定できないと認めながらも、物語の寓意をそのまま受け取りすぎるのは、「プラトンの洞窟」を本当に探すようなものと語っている。

結局のところ、SF が我々が築く未来の青写真になるんですかね？ という最初の問いに、N・K・ジェミシンが、そんなわけない。他の文学ジャンルと変わらん。ちょっとしたことを一つ正しく言い当てて、他はすべてハズレなのが「先見の明がある」ヴィジョンと言えるか？ と答えていて受けた。