「オラクルに銃を突きつけろ」

no extension

最近,面白い記事を見かけたので,紹介がてら戯れ言をつらつらと書いてみる。

「オラクルに銃を突きつけろ」

タイトルだけ見て某企業の話かと思ったのだが,どうやら違うらしい(笑)

あらゆる予測市場は「オラクル[神託]」、つまり、ある事象の結果についての決定的な真実の源泉を必要とする。「今年パキスタンで新たにどれだけの太陽光発電設備が稼働したか」は、一見すると実証的な問いに聞こえる。しかし、すべての参加者が揃ってパキスタンを歩き回り、ソーラーパネルを数えてその設置日を確認するわけにはいかない以上、彼らは何らかの第三者の評価者を権威あるものとして合意し、その判断に従わなければならない。

しかしマフィア国家である米国では,その「神託」を告げるジャーナリストを脅して事実を捻じ曲げようとする動きがあるらしい。

真実を報道したことでジャーナリストが殺害予告を受けるのは残念ながら珍しいことではない。 […] だが、ファビアンが語っているのはまったく新しい――はるかに予測不可能な――脅威だ。ある任意の出来事の結果を外した誰かが激怒し、脅しによって賭けを取り戻せると考えるようになったのだ。

そして話は「報酬ハッキング1(reward hacking)」へと続いていく。

機械学習システムに携わった者なら誰でも知っているように、それらは「報酬ハッキング」に陥りやすい。壁や家具との衝突を避けながら室内を最短経路で移動するようプログラムされた機械学習搭載のルンバがそうだった。衝突センサーを前面に搭載したそのルンバは、後ろ向きに室内を動き回るようになり、家具や壁に散々ぶつかりながら、一度も衝突を記録しなくなった。

市場もまた、参加者の報酬ハッキングを誘発しうる。指標が目標になる。あなたはある事象の結果に賭けているつもりでも、実際に賭けているのはオラクルがその結果についてどう言うかだ。結果がどれほど明確で外部からの影響に対してどれほど堅牢であろうと、オラクルはこめかみに銃を突きつければ動かせる。

この記事を読んで連想するのは,ゼロ年代に話題になった『ヤバい経済学(freakonomics)』だろう。 あの本はインセンティブを軸にした寓話を集めたものだ。 たとえば「子供を迎えるため保育園に来る親が遅刻するのを減らすため罰金制(遅刻したら罰金を払う)にしたら,親たちは喜々としてお金を払って遅刻する(お金を払えば遅刻してもOKと考える)ようになった」みたいな話だ(うろ覚えゴメン)。

「アルゴリズムではない」

もうひとつ。 yomoyomo さんの「責任逃れの道具としてのアルゴリズム、そしてAI」経由:

この記事は以下の文から始まる。

アルゴリズムという言葉がこれほど一般的に使われるようになったのは、いつ頃からだろう。私は情報学専攻の学生だったので、本来の意味でのアルゴリズムについて学んだけれど、今ではもっと広い意味でアルゴリズムという言葉が使われるようになった。

じゃあ「広い意味でアルゴリズム」とはなんだろう。

いずれにせよ、そうやってアルゴリズムは企業の都合が良いように書き換えられていく。YouTubeが「長尺であれ」といえば長尺が中心になり、「縦型ショートであれ」といえば縦型ショートばかりになる。それはまるで神託であり、それに従わない者は異端とされる。たとえばYouTubeのサムネイルで煽らない者、Xで未だにリンク記事を投稿している者は、プラットフォームに言わせれば神託に従わない、愚かな異端であろう。だがアルゴリズムの内側にいるのは神ではなく、経営者である。

だとすると、そんな恣意的で流動的な仕組みのことをアルゴリズムと言っていいのだろうか? と修士(情報学)の端くれとしては思うのである。それってただの経営戦略では?

www

記事では更に,これからは「アルゴリズム」に代わって「AI」が「神託」として濫用(乱用?)されるだろう,と予測している。

これからAIが普及するほど、なにも考えず「AIが言ってたのだから正しい!」「AIはこう言っているから従うべきだ!」と言う人達が増えていくのだろうと思うと憂鬱だが、AI企業はそうした人達を止めようとはしない。一方で、いまアルゴリズムの責任を取ろうとしないように、AIの言動が批判されてもその責任を取ろうとはしないだろう。

最近 SNS の TL に上がってるポストやリンク先の記事を見て思うのは AI の礼賛者も批判者も AI を信じすぎじゃね? ということだ。 でも2つの記事を読んで何となく納得した。 礼賛者にとっても批判者にとっても AI (の言うこと) は御神託で,御神託に対する反応のベクトルが真逆なだけなのだ。

AI を無理やり擬人化するなら,御神託を言う AI の背後に権威者(または権力者)が銃を突きつけてる感じだろうか。 あるいは AI はただの狂言回しであって AI を挟んだ人間(社会)関係にこそ目を向けるべきなのかもしれない。

参考

photo
はじめて学ぶ ビデオゲームの心理学 脳のはたらきとユーザー体験(UX)
セリア ホデント (著), 山根 信二(監修) (著), 山根 信二 (翻訳), 成田 啓行 (翻訳)
福村出版 2022-12-15 (Release 2023-07-03)
Kindle版
B0C9Z7KGRN (ASIN)
評価     

Kindle 版が出ている。ゲームデザイナやゲームエンジニアだけでなく,ソフトウェア・エンジニアは全員読むべき。あと,ゲーマーな人も読むといいよ。感想はこちら

reviewed by Spiegel on 2023-11-21 (powered by PA-APIv5)

photo
ハッキング思考 強者はいかにしてルールを歪めるのか、それを正すにはどうしたらいいのか
ブルース・シュナイアー (著), 高橋 聡 (翻訳)
日経BP 2023-10-12 (Release 2023-10-12)
Kindle版
B0CK19L1HC (ASIN)
評価     

Kindle 版が出てた!

reviewed by Spiegel on 2023-11-21 (powered by PA-APIv5)


  1. 訳注には「AIは設定された報酬関数(目的関数)を最大化するよう学習するが、この報酬関数が本来の目標を完全に反映していない場合、AIは人間が予期しない「ズルい」方法で目標を達成しようとする」と書かれている。これは AI による報酬関数へのハックと考えればいいのかな。でも,人間側が恣意的に報酬関数を不完全に設定している(もしくは外部から書き換える)場合もあるよな。 ↩︎