永守　伸年：AIの「人間らしい弱さ」──過剰な信頼を抑制するために

AIは信頼できるのか。社会生活の多くの領域にあって、AIが人間のパートナーとしての役割を果たすにつれ、その信頼性が切実に問われる局面も増えてきた。医療診断、資産運用、進路選択、さらには友人関係や道徳判断までAIに委ねようとして、「いや、こんなことまでAIを信頼してよいのか」と立ち止まる。「わたしはいま、過剰に信頼してはいないか」。

新たな技術が浸透するとき、このような信頼の揺れ動きは珍しくない。ワクチンは効くのか。SNSは民主主義の基盤となるのか。ロボット掃除機はすみずみまで清掃できるのか。信頼が深められたこともあれば、不信によって撤回されることもあった。

では、この揺れ動きの系譜にあって、AIに固有の問題はあるだろうか。AIを信頼するからこそ直面する困難は存在するのか。

おそらく、ある。それはAIによる人間らしさの「擬態」に由来する。人間はこれまで自らを模倣する存在（仮面、人形、人型ロボット）をさまざまに作ってきたが、そのどれよりもAIはみごとに擬態をやりおおせる。そしてわたしたちの多くはその擬態を受け入れ、ときには進んで擬人化してまで信頼関係を結ぼうとする。その影響は仕事の補助だけでなく、生活の基盤、ひいては価値の核心に及びつつある。本稿ではこれをAIに対する「過剰信頼」の問題として捉え、それを緩和する手がかりを探してみたい。

AIに対する過剰信頼の問いに答えるためには、まずは「信頼」そのものについて考えなければならない。そもそも信頼とは何か。おおまかに言えば、それは「不確実な状況において、相手が自分にとって望ましい仕方でふるまうだろうと期待する態度」である。見込み違いかもしれず、裏切られるかもしれないが、それでも相手に価値あるものを委ねようとする。信頼とは、そのような脆弱性を引き受ける前向きな構えである。

信頼はモノや制度、システムに対しても向けられるが、感情的には人間に対してとりわけ強く作用する。他人に微笑みかけられれば、わたしたちはある程度、その相手を信頼するよう促される仕組みをそなえる。そこには、人間が他人との協力がなければ生き延びにくい存在だったという事情も関わるだろう。人間は血縁による結びつきや、目先の利益の見込みを超えて他人と協力し、関係を確かなものにする能力を発達させてきた。独りでは生きられない、「弱い」個体だからこそわたしたちは信頼に踏み出したとも言える。

この「信頼の仕組み」は現代人にとってなお欠かすことのできない秩序の基盤であるとともに、ときには致命的なほどのリスクともなりうる。信頼は認知的な負担を減らし、協力の機会を広げることによって社会生活を支える一方、裏切られれば痛みを伴い、場合によっては取り返しのつかないほどの傷を与えるからである。大切なものを委ねるほどにその傷は深くなるだろう。

もちろん、わたしたちにはこのリスクを低減させる仕組みもそなわる。比喩的に言えば、その1つは不信の「警報装置」である。相手の表情、声の調子、言葉の選択、わずかなふるまいのズレや逸脱から、わたしたちは危うさを感じ取る。「こいつは何となく怪しい」、「このやり方にはどこか嫌な感じがする」と直感する。この「不信の仕組み」が警報を発し、信頼が過剰に傾くのを押しとどめる。

しかし、ここには付け入る隙がある。もし信頼を向けられる相手が、本来は人間ではないにもかかわらず、人間らしいふるまい、とりわけ信頼に値するように見える表現を高い精度で模倣するとすればどうだろうか。それはわたしたちの警報装置を巧みにくぐり抜けるかもしれない。そしてAIは、まさにそのような手強い相手にもなりうる。

この相手は「擬態」の能力において際立つ。AIの音声アシスタントは自然な声で応答し、顔認識システムは表情を読み取り、推薦機能はこちらの好みを先回りして示す。そこに人間と同様の知覚や意図が（少なくとも、現時点では）あるはずはないのに、わたしたちはそこに「人間らしい」知性と感情をおのずと読み取ってしまう。このような擬態は純粋に技術的な達成にとどまらない。AIがサービスとして提供される以上、その設計には利用者の警戒をほどき、満足度を高め、継続的な利用を促そうとする経済的圧力が加わる。

それは現実の、しばしば煩わしい人間関係よりも心地よいやり取りをもたらす一方、信頼を過剰なほどに膨れ上がらせることもある。すなわち、本来の信頼性を上回るほどの不適切な信頼が抱かれてしまう。典型的には、自動運転に安心しきって居眠りをする運転手を想起すればよい。経営学者のファブリツィオ・デルアクアは、AIとの協働において人間が「ハンドルの前の居眠り」に陥る現象をフィールド実験によって確認している＊1。実験ではプロの採用担当者181名に44件の履歴書を評価させ、一部の担当者には「より高品質なAI」、別の担当者には「より低品質なAI」、対照群にはAIなしで評価させる。すると、逆説的にも高品質なAIを与えられた担当者ほど怠惰になり、評価に費やす時間を減らしてAIの推奨をそのまま受け入れる傾向を示した。結果として、かれらは低品質なAIを与えられた担当者に比べて劣った意思決定を下すことになる。AIへの過剰信頼によって人間の判断能力が「眠りこむ」のである。

現在の生成AIの擬態は言語そのものの水準で生じるため、問題はいっそう根深いものになるだろう。大規模言語モデルは膨大なテキストから語の連なりのパターンを学習し、与えられた文脈に応じて「人間らしい」応答を生成する。しかし、この応答の流暢さは必ずしも正確さを意味していない。モデルはそれ自体として外部の事実を照合するわけではなく、その応答も人間のフィードバックを介して利用者に好まれる方向に調整される。それゆえ「ハルシネーション」として知られるように、生成AIは根拠のない引用、存在しない文献、文脈とずれた説明をためらいなく生み出すことがある。過剰信頼に陥った人間はこの誤りを見抜くことができず、そのまま受け入れるほかない。

つまり、こういうことになる。AIは根本的に人間とは異なるものでありながら、何よりも巧みに人間的な相貌に擬態する。それは必ずしも無謬ではなく、それどころか人間の判断能力を低下させる傾向すら持つにもかかわらず、人間らしく言葉をあやつり、共感を抱き、忍耐強く寄り添うかのようなふるまいによって信頼を誘い出す。

しかし、だからといって、全面的に信頼を撤回することはできない。AIの擬態、そして人間による擬人化のプロセスにおいて信頼はほとんど自動的に引き出されており、意識的にそれに抗うことは容易ではない。さらに、AIは社会生活のあらゆる領域に浸透しつつあって、その使用は遠からずわたしたちの日常の前提条件となるだろう。「AIだから」という理由だけで一律に信頼を撤回しようとすれば、今度は過剰不信の問題に直面する。

では、どうすればいいのか。信頼という態度を規範的な観点から見るならば、課題はこう表現できる。どうすればAIとまっとうな信頼関係を結べるのか。過剰な信頼を「正気に戻す」方法はあるか。

この課題に対する1つの応答は、「うろたえることはない、過剰信頼を抑制する『仕組み』はすでにある」というものだろう。

直感的な不信の仕組みはそれほど当てにできないかもしれない。すでに述べたように、わたしたちにそなわった「警報装置」はAIの擬態によって突破される懸念がある。だが、それだけではない。人間は進化の過程だけでなく、文化の歴史を通じてもさまざまな仕組みを作り出してきた。期待がかけられるのは「社会規範の仕組み」である。

この仕組みの力は、たとえば専門職に対する信頼を考えてみればわかる。教師、記者、技師といった専門職に就く人々に対する信頼は、必ずしもその個人の性格や来歴に左右されない。問われるのは、相手がそれぞれの専門領域に課せられる社会規範を引き受けるだけの意図と、能力を持ち合わせているかどうかである。守秘義務の規範を引き受けない弁護士は、いかに魅力的な弁舌を振るおうと信頼することはできず、逆にどれほど無愛想であれ、患者の自律性を尊重し、最善の利益のために尽くす医師は信頼に値する。わたしたちはこのような社会規範を資格、訓練、監督、説明責任といった制度のネットワークに組み込むことで、流動的な社会にあって信頼関係を安定させることができる。

ここで重要なのは信頼の多層性である。わたしたちは一方では感情的に、「ただ、なんとなく」相手を信頼してしまうことがあるが、他方では社会規範にしたがって、「しかと」相手の信頼性を見きわめることもできる。それゆえ、前者の感情的な信頼の層に付け込み、擬態によってくぐり抜けようとする相手にも、後者の制度的な信頼の層によって対抗する余地はある。人間らしい、心を動かされそうな言葉や表現によって過剰な信頼が引き出されようとするときには、相手がその文脈、その役割にふさわしい規範を引き受けているかどうかを確かめればよい。

もちろん、AIに人間と同じような意図や能力をそのまま帰属させることは難しく、社会規範を「引き受ける」という態度を文字通りの意味で期待することはできない。さしあたり有効なのは、AIを設計し、運営する人間の集団や組織において社会規範を埋め込むという発想である。

一例として、EUの専門家グループが策定した「信頼できるAIのための倫理ガイドライン」を考えてみよう。このガイドラインでは、AIが合法的（lawful）、倫理的（ethical）、そして頑健（robust）であるという3要素を満たすことによって、それを取り巻くシステム全体が信頼に値するものになると考えられる。さらに、この「倫理的」要素を支える原則として、（1）人間の自律性の尊重（AIは人間の自己決定を支えるものであって、人間を支配したり操ったりしてはならない）、（2）危害の防止（AIは人間の心身、社会、環境に害を及ぼしてはならない）、（3）公平性（AIは不当な偏りや差別を生まず、利用者に公正な手段と結果を保証しなければならない）、（4）説明可能性（AIの意思決定の過程と根拠は、当事者が理解しうる形で示されなければならない）が挙げられており、これらの規範がAIの開発と運用を導く指針となる。

したがって、過剰信頼を抑制するには、こうした規範が実際にAIを制約していることを透明化し、説明可能なものにしなければならない。それは個人とAIの個別的なやりとりではなく、AIを設計し、運用し、監査する制度全体をめぐる社会課題として取り組まれるべきものだろう。

ただし、最後に指摘しておきたいのは、社会規範を「実装」すれば、それだけで信頼に値するAIが実現するかどうかである。

この「実装」戦略にはいくつかの困難がある。第1に、規範の列挙の問題。特定の社会領域に限ったとしても、その領域において引き受けるべき規範を網羅的にリストアップすることは容易ではない。ましてそれらの規範の重要性を比較して数値化し、1つの「目的関数」あるいは「報酬関数」に変換することはほとんど不可能だろう。

第2に、規範の変化の問題。それなりに合意の取れた社会規範のリストを整えたとしても、それは時間の経過、社会の変化とともにどうしても古びてしまう（かつては広く受け入れられた家父長的制度、同性愛を病理とみなす慣習、体罰の教育的な有効性を訴える規範などがやがて疑われ、退けられるに至った歴史を思い起こそう）。わたしたちがいま、当然のように引き受けている規範の一部も同じように問い直される可能性を考えれば、規範のリストをシステムに固定化することは、それ自体が新たな倫理的問題を引き起こすだろう。

さらに、仮に不完全な規範や、それにしたがった報酬の仕組みを与えた場合、AIはそれらの最大化・最適化を文字通りに追求する可能性がある。そこでは人間が意図しなかった抜け道が見出され、それどころか、人間の本来の目的に照らして有害な帰結がもたらされるかもしれない。その危険を示唆するのが、OpenAIのジャック・クラークとダリオ・アモデイが紹介したボートレース・ゲームの事例である＊2。彼らは、ゲームをプレイするAIに「レースを完走する」という規範そのものではなく、より扱いやすい代替指標として「ポイントを稼ぐ」ことを報酬として与えた。するとAIはコースを走ろうとせず、ポイントが得られるターゲットが出現する場所にとどまってボートを旋回させ、衝突や炎上を繰り返しながらひたすらポイントを稼ぎ続けた。これは人間から見れば端的に「レースの失敗」だが、与えられた報酬の条件下では「ポイントを稼ぐ」ために最適の戦略だったことになる。

このように「実装」戦略だけでは危うさがある。人間の複雑な社会規範をリスト化し、数値的な報酬として「実装」することさえできればシステムに対する信頼が保証されると考えるのは、楽観に傾きすぎる。

では、どうすればよいか。AIとまっとうな信頼関係を結ぶために、ほかに残された道はあるだろうか。

1つのやり方は発想を転換することである。信頼とは不確実な状況において、脆弱性を引き受ける態度であったことを思い出そう。AIにさまざまな機能を組み込んで、ただそれを「強く」するのではない。そうではなく、それが社会規範への適合性や、人間の期待に対する応答性に関して、本来的に「弱い」相手であることに立ち戻るのである。

具体的には、AIの設計に「自分がしたがっている規範は不完全であり、自分の判断は誤りうる」という不確実性を組み込んでおく必要がある。AIが人間の抱く価値や目的を十全に理解し、それらを抜かりなく引き受けることはもとよりできない。だからこそ、AIをこのような無知と限界を抱えた存在として設計するならば、AIは（部分的にせよ）人間に判断を委ねざるをえなくなる。

これは、人間とAIの関係において、修正可能性と異議申し立ての余地を確保するということである。AIやそれを取り巻く制度が脆弱であるなら、それをより強固で、自律的で、無謬なものにしようとする誘惑はつねに存在する。しかし、信頼に値するシステムとは、必ずしも完全なシステムではない。むしろ、自らの限界を示し、修正を受け入れ、異議申し立てに応答できるシステムである。完全に見える相手は過剰信頼を招くが、かといって、いかにも頼りなさげな相手は過剰不信を招く。これらの過剰を抑制するために要求されるのは、この両極の中間にあって、不完全だからこそ修正に開かれているような信頼の過程である。

それは一見すると綱渡りのような緊張を伴うが、しかし一つの失敗、一度の裏切りでは断ち切られないだけのしなやかさも持っている。

ここに、AIの「人間らしさ」の別の側面が現れる。人間らしいAIとは、ただ感情を巧みに誘い出し、自然言語をもっともらしく操る相手のことではない。むしろ人間と同じように不確実で、弱く、誤りうる存在として、こちらの修正と異議に応えてくれる相手こそ、信頼関係を結ぶにふさわしい「人間らしさ」をそなえると言えるのではないか。このような「人間らしい弱さ」を分け持つことが、AIに対する過剰な信頼を押しとどめ、わたしたちがAIの時代を「正気で」生き抜くための手がかりとなるだろう。

（註）