「LLM は詭弁家である」

no extension

「LLM は詭弁家である」

自ら LLM (生成 AI) によるアシスタント翻訳サービスを提供している “Kagi Search” (いつもお世話になっています) のブログで面白い記事が上がっていた。

記事ではまず「嘘(Lying)」と「デタラメ(Bullshitting)」の違いを提示し

  • Lying means you have a concept of what is true, and you’re choosing to misrepresent it.
  • Bullshitting means you’re attempting to persuade without caring for what the truth is.

その上で LLM は嘘を吐いているのではなく(アルゴリズムに従って)デタラメを言っているに過ぎないと指摘する。

LLMs predict text. That’s it.
LLMs don’t think; they act in probabilities

そういえば,前に『そろそろ、人工知能の真実を話そう』を読んだときにこの単語が出てきたな。

近頃は、われわれを翻弄するような科学的な言い回しが非常に多く、未来に対して異なるアプローチをとる三つの概念がよく混同されている。すなわち、可能性(possibilité)、蓋然性(probabilité)、信憑性(plausibilité)―― この三つが区別されていないために混乱が生じているのである。

信憑性についてはもう少し説明が必要だろう。

plausibilité (plausibility) の意味を Google 先生に訊くと「尤度 (ゆうど) 」と答えが返ってきた。 尤度とは統計学の用語らしい。

ただし,この本では「信憑性(plausibilité)」をそのような意味では使ってなくて,語源に近いニュアンスで

つまりそれは一般受けが良く、多くの人が起こると思っているということだ。だが、実際には可能性も蓋然性も保証されていない。

という感じで使っている。

とするなら LLM は “probability” というより “plausibility” に基づいて行動している,と言えるかも知れない。 だから「ChatGPT はイエスマンだ」などと言われてるんだろうけど。

この辺の話を聞くと,どうしても落語の「転失気」を連想してしまう。

あまりネタバレを言うのもアレだが,知ったかぶりのデタラメを言う「大人」と,それを見抜いてやり込める「子供」の対比が面白いのよ。 その「大人」と LLM を見比べてしまうんだよな。

だから

LLMs are Sophists

というフレーズにも納得してしまうのだ。 そして件の記事では “and sophists are useful” と続ける。

If I use a LLM to help me find a certain page in a document, or sanity check this post while writing it, I don’t care “why” the LLM did it. I just care that it found that page or caught obvious mistakes in my writing faster than I could have.

[…]

But remember that LLMs are bullshitters: you can use LLMs to get incredible gains in how fast you can do tasks like research, writing code, etc. assuming that you are doing it mindfully with the pitfalls in mind

By all means, use LLMs where they are useful tools: tasks where you can verify the output, where speed matters more than perfection, where the stakes of being wrong are low.

最後の活用例で挙がっている「出力を検証できる場合,完璧さよりも速さが重要な場合,間違えてもリスクが低い場合」を見ると LLM がどういう性質のものか分かるというもの。 少なくとも死を覚悟するほどの人生の悩みを LLM に相談するのは間違ってると思うよ。

「AIと有権者エンゲージメント」

LLM の利用については,もうひとつ面白い記事がある。

このエッセイは Bruce Schneier 氏と Nathan E. Sanders 氏との共著で “The Fulcrum” に掲載されたものらしい。 内容について簡単に言うと, SNS の繋がりを利用して政治的連帯(というか動員?)を呼びかける政治手法から AI を介した Relational Organizing に変わりつつある,ということのようだ。

So if a campaign hits you at the right time with the right message, they might persuade you to task your AI assistant to ask your friends to donate or volunteer. The result can be something more than a form letter; it could be automatically drafted based on the entirety of your email or text correspondence with that friend. It could include references to your discussions of recent events, or past campaigns, or shared personal experiences. It could sound as authentic as if you’d written it from the heart, but scaled to everyone in your address book.

Research suggests that AI can generate and perform written political messaging about as well as humans. AI will surely play a tactical role in the 2026 midterm campaigns, and some candidates may even use it for relational organizing in this way.

この具体例として日本の「チームみらい」が挙げられているのが面白かった。 田舎に住んでる身としては国内のことなのに彼岸の話なんだけど(笑)

Anno was RECENTLY elected to the upper house of the federal legislature as the founder of a new party with a 100 day plan to bring his vision of a “public listening AI” to the whole country. In the early stages of that plan, they’ve invested their share of Japan’s 32 billion yen in party grants—public subsidies for political parties—to hire engineers building digital civic infrastructure for Japan. They’ve already created platforms to provide transparency for party expenditures, and to use AI to make legislation in the Diet easy, and are meeting with engineers from US-based Jigsaw Labs (a Google company) to learn from international examples of how AI can be used to power participatory democracy.

Team Mirai has yet to prove that it can get a second member elected to the Japanese Diet, let alone to win substantial power, but they’re innovating and demonstrating new ways of using AI to give people a way to participate in politics that we believe is likely to spread.

2026年は米国では中間選挙の年であると同時に建国250周年なんだそうで。 これに合わせ「AI による組織化(Organizing with AI)」についても色々と動きがあるだろうと締めている。

ブックマーク

参考

photo
そろそろ、人工知能の真実を話そう (早川書房)
ジャン=ガブリエル ガナシア (著), 小林 重裕・他 (翻訳), 伊藤 直子 (監修)
早川書房 2017-05-25 (Release 2017-05-31)
Kindle版
B071FHBGW8 (ASIN)
評価     

シンギュラリティは起きない。

reviewed by Spiegel on 2016-07-02 (powered by PA-APIv5)