AI は人（の良心）を殺すか？

（yomoyomo さんの最近の記事は文章や記事の間の「行間」が絶妙に繋がってる感じで色々と触発されます。 まぁ私のは妄言・妄想ですけどw）

1. 良心について
2. 「良心」の無意味化
3. 「信頼に値するアルゴリズム」とは（追記：2016-10-15）
4. AI は「トロッコ問題」をどう解くか（再掲載）
5. IV 型ウイルス（追記：2016-10-18）
6. ブックマーク
7. 参考図書

良心について

ふだん私たちは何の前提もなく「良心」という言葉を使う。 そして人には必ず「良心」が存在すると思っている。 で，「良心」のない（あるいはないように見える）人に対して「ひとでなし」とか「冷血漢」とか言って排除しようとする。 でも，排除される側からすれば「他人を「ひとでなし」と言う貴方の「良心」って何なの？」と思ってしまうわけだ。

実際には「良心」というのは人の中にあるのではなく人と人の間にあるものである。 そしてこれを「人と機械」という関係に拡張したらどうなるのだろう。

「良心」は哲学の問題であり社会なんとか学の問題だった。 でも「人と機械」の間に良心を組み込もうとするなら，それは工学の問題にもなってくる。 はたして工学は「良心」を定義できるのだろうか。

「良心」の無意味化

• ユートピアのキモさと人工知能がもたらす不気味の谷 - WirelessWire News（ワイヤレスワイヤーニュース）
• 人工知能は人間を人間でなくすのか？ - YAMDAS現更新履歴

感情とか表情とかいうものは「他者」を認識して初めて意味を成す。 世界の始まりから自分一人しか存在しないとして，喜怒哀楽を感じたり，ましてやそれを表現することに意味があるとは思えない。

人は言葉のみにて話すわけではない。 身振り手振りや顔の表情，匂いや触覚など五感を駆使して「会話」し，お互いに文脈を形成・共有する。 機械が HMI (Human Machine Interface) を備えるなら人の表情（顔の表情だけとは限らない）やそれに伴う感情を読み取ろうとするのは自然な流れだし，たぶん必要なことである。 そうしなければ機械と人との間で文脈を形成できない。 機械が人の感情に対してどう「思う」かは別にして。

問題があるとするならそれは機械の側にではなく，あくまで機械を含むシステム（もっと言えば社会）を設計する側にある¹。

たとえば，秘密を持つことや嘘をつくことがある文脈において必要な情報コントロール（嘘も方便）であるなら，技術的に可能だからといってわざわざそれを暴き立てることがシステムにとってどのような結果をもたらすか，といったことである。 あるユーザに関する evidence のみが必要なのであれば，そのユーザが嘘をついているかどうか推測するのは「過剰」だ。

確かに小林秀雄さんの「「良心」の無意味化」の話² は考えさせられるところもあるが，現代は（もちろんインターネットも含めて）既にそういう時代になっている。照魔鏡ほど威圧的ではないかもしれないが。

後期近代社会における社会統制の基調にあるもの、それは「保険統計主義」である。 すでにみたように〔第2章の表2-2（一一九頁）〕、ここでは正義を追求することよりも被害を最小限にすることが求められている。 そして犯罪や逸脱の原因を探ったところで犯罪という社会問題は解決しないとみなされている。 保険統計主義の中心にあるのはリスク計算である。 それは精度の高い確率論的解析であり、そこで注意が向けられるのは問題の原因ではなく、その問題が起こる蓋然性である。 保険統計主義にとって重要なのは、正義ではなく、被害の最小化である。 それが目的とするのは、世界から犯罪をなくすことではなく、損害を最小限にする効果的手段である。 それが追求するのは、ユートピアをつくりだすことではなく、敵意に満ちたこの世界に塀で囲まれた小さな楽園をできるだけ多くつくりだすことである。 （p.170）

この社会のどこに「良心」の余地があるというのだろう。 人が「性善」だろうが「性悪」だろうが関係ない。 私たちは「保険統計主義」が示す「正解」のとおりに行動しなければ排除されてしまうのだから。 そしてそれは近代文明が求めた結果なのである。 良いか悪いかは別にして。

AI (Artificial Intelligence) はたまたま再流行してこれから何か影響を及ぼすのではなく「保険統計主義」な時代の要請で必然的に台頭してきている³ （もちろん AI が台頭することによって他の様々なことが変化するだろうけど，それは別の話）。 ある分野やシーンで機械が台頭してくればそこで職を失う人は当然出るだろうし（それは私かもしれない），「「良心」の無意味化」は AI の登場に関わらずとっくに起きている。

「信頼に値するアルゴリズム」とは（追記：2016-10-15）

上で

「問題があるとするならそれは機械の側にではなく，あくまで機械を含むシステム（もっと言えば社会）を設計する側にある。」

などと無責任に書いたが，実際には並大抵のことではない。

• 我々は信頼に足るアルゴリズムを見極められるのか？ - WirelessWire News（ワイヤレスワイヤーニュース）
• Equality of Opportunity in Supervised Learning
  • Google、AIから偏見を排除する方法を研究中 | TechCrunch Japan
• 機械と人間の役割分担を見つめ直してみよう | TechCrunch Japan

機械学習なんて体のいい「洗脳」であるが，その洗脳から必然的に生まれる「偏見」を数学的手法で排除しようとするのがいかにも Google らしい。 でも，そうしたロジックも含めて実装し評価するのは人なのである（今のところ）。

yomoyomo さんの「我々は信頼に足るアルゴリズムを見極められるのか？」ではオライリーによる「特定のアルゴリズムが信頼に値するか評価する指針」を紹介している。 曰く，以下の4つだ。

1. アルゴリズムの作者がどんな出力結果を求めているか明確にし、外部の観察者がその出力結果を検証できる。
2. そのアルゴリズムが成功しているか測定可能である。
3. アルゴリズムの作者の目指すものが、そのアルゴリズムの利用者の目指すものと足並みを揃えている。
4. そのアルゴリズムは、その作者と利用者をより良い長期的な意思決定に導くか？

1 から 3 は要するに「基準（criteria）」からの「逸脱（deviation）」がないかということなのだが，そもそもその criteria が正しいものなのか評価することが難しい。 テストすることは設計することと同じなのである（TDD 的にはね）。

そして 4 を満たす製品・サービスはほとんどど無いと思われる。 何故なら長期に渡って要求が変わらないシステムなどありえないし，まず前提として「信頼」の評価は過去の事象に対してのみ可能であり未来については「予測」しかできない。 予測であれば必ず「予断」が混入するものである。 バグのないプログラムがほとんど不可能であるように予断のない予測もほぼ不可能だ⁴。

私なら以下の5つ目を加える。

• 失敗に対する対処が比較的容易である。

長く運用していれば必ず何かの「失敗」が起きる。 失敗が起きた時にベンダは指を咥えて見ているだけでユーザは泣き寝入りするしかないシステムは許容できない。

AI は「トロッコ問題」をどう解くか（再掲載）

（以前書いた記事をちょっと弄って再掲載⁵）

• 完全自動運転自動車とトロッコ問題について
• 自動運転車の法律問題を総括すると見えてくる難解な課題 - 風観羽　情報空間を羽のように舞い本質を観る

これって「われはロボット」だよね。

明らかに「正しい解」がない場合，いくつかの近似解の中から妥当と思われるものを選ぶしかない⁶。 「緊急避難」というのは「正しい解」が存在しない場合に「近似解でいいんだよ」ということを法的に担保するものだ⁷。 でも，どの解を選んでも結局「正しい解」ではないのだ。 だから人は葛藤し，さらに後悔する。

AI は（今のところ）近似解に葛藤したりしない。 もちろん後悔だってしない。 その解に辿り着いたのは，機械が自ら考えたのではなく，あくまでも構築された論理と学習に沿って必然的に導かれたものなのだから（たとえ解への道筋が人には理解できないものだとしても）。 じゃあ機械が導き出した解を実行した結果の責任は誰が取るの？ ってことである。

IV 型ウイルス（追記：2016-10-18）

毎度『BOOM TOWN』ネタで申し訳ないが，この作品の中に AI に感染するウイルスが登場する。 このウイルスは AI の学習パターンを少しずつ変質させるため発見が遅れることが多く，ある日突然 AI が使い物にならなくなるという厄介なものだ。

まぁ，ここまで極端でなくても AI に干渉する要素というのはいくらでもあるものだ。 しかもそこに悪意の有無は関係ない。

• MicrosoftがAIチャットボット、Tayを停止―人種差別ジョークで機械学習の問題点が明らかに | TechCrunch Japan

これは機械が人とのコミュニケーションを行うようになれば必ず起こり得る問題であり，それを「修正」しようとすれば更に恣意が入り込むことになる。 もし仮に人と機械との間に「良心」が組み込まれたとしても，それが書き換えられる可能性は常にあるのだ。（でもそれは人だって同じことだけどね）

ブックマーク

• 人工知能は「ハイル・ヒトラー」と叫ぶか
• 「ピノキオ」と AI
• コンピュータが次々と間違える時代。
• なぜいま「ロボット倫理学」が必要か〜問題はすでに起きている（岡本 慎平） | 現代ビジネス | 講談社
• 人類と人工知能が共存する未来への第一歩–IBMが「AI倫理」を解説 - ZDNet Japan
• フェイクニュースより恐ろしい、アルゴリズムの「偏見」とは何か？(塚越健司) - 個人 - Yahoo!ニュース

参考図書