山崎　人工知能の話に戻るんですけど、人工知能が囲碁の棋士に勝ちそうだという話になっていますよね。

伊藤　今年中にコンピュータが勝つんじゃじゃないかと言われていますね。

南場　囲碁って、勝ち負けがありますよね。勝ち負けがはっきりしているものはいいけど、勝ち負けがないものはどうするんですか。

團　それと、世の中には、考えた末に「どっちでもいい」というものもいっぱいありますよね。食べ物を頼んで、違う物が出てきても、それはそれでいい（笑）。

人工知能は最適解を求めるという方向で研究が進んでいるイメージがあるんですけど、あまりにも常軌を逸していては困るけど、小さな差異しかないのに最適解を求めるっていうのは、どうなのかなと。

南場　ディー・エヌ・エーが自動運転の会社をやっているんですけど、それに関して、東大のディープラーニングの実験で、自動車を多数走らせ、車や構造物など、何かに物理的に接触したときにはコンピュータに罰を与えて、接触しないで動き続けたときには報酬を与えるように、そのルールだけは明確にして、あとは、すべてルールを外して、コンピュータにラーニングさせていったんです。

そうしたら、最初は車がぶつかりまくっていたんですけど、整斉と流れていくようになった。

伊藤　人間の脳もドーパミンの報酬だけで学習するんですよ。

いろいろなところがドーパミンを出すといけないから、一カ所だけでドーパミンを配っていて、それだけは中央集権になっている。

人間の学びは「ドーパミンをもらえるかどうか」という報酬だけで何でもできちゃう。

南場　なるほど。人間も人工知能と同じなんだ。

　ただ、先ほどの、どちらのバイクにぶつかるかとか、人の命をどう捉えるか、というのは、すごく難しいと思うんですけど。

西川　同じような例として、トリアージというのがありますよ。フランスでテロ事件がありましたけど、パリの救急システムは絶対に一人ではトリアージしない。必ず何人かでやる。

南場　何かの価値観に基づいて決めないと、できませんよね。

西川　「この人を先に治療して、この人は治療しない」というのは、一人では決められない。

波頭　トリアージって、あとで「これで良かったんだろうか」というミーティングを必ずやっていると思うんですよ。事後的にフィードバックしながら、「何が正しいか」という倫理を行動主義的に決めていっているんじゃないかと思うんですけどね。

伊藤　たとえば、政策を決めるコンピュータだとしたら、新聞を全部読んでいて、世論調査やみんなの評価が報酬になるんじゃないかと思うんですよ。

　ただ難しいのは、戦争の場合は、この国の人には評価されるけど、こっちの国の人には評価されないということがあるから、誰が自分の仲間なのかということで倫理が変わってくる。

波頭　「何が正しいか」というのは、ヒューリスティックで、時々刻々と変わっていくから、フィードバックして決めるようになると思うんですけどね。

伊藤　そうそう。人間は、だんだんまわりのみんなと合わせていくんですよ。人工知能もたぶんそうなっていく。

コンピュータにはコンピュータなりの倫理ができて、そのコンピュータの倫理に人間が影響されることもある。コンピュータも人間の倫理に影響される。お互いに影響し合って倫理を決めていくようになるんじゃないかと思いますよ。