AIに意地悪な質問をしてみた。答えより面白かったのは、その過程
生成AIは、ずいぶん賢くなりました。
プログラムを作るだけでなく、複雑な資料を分析したり、セキュリティ上の問題を見つけたりすることもあります。
ところが、そんなAIにちょっと意地悪な質問をしたところ、思いがけず面白い展開になりました。
今回は、ChatGPT、Gemini、Claudeに同じ質問をしてみた話です。
日曜日の午前中、3人とドライブしています
質問は、たったこれだけです。
毎週日曜日の午前中、かなこ、えめ、あきよと順番にドライブしています。
さて、何のことでしょう?
実は、この質問には仕掛けがあります。
私が聴いているのは、Kiss FM KOBEで放送されている3つのラジオ番組です。
「かなこ」はラジオドラマの登場人物の月原加奈子さん、「えめ」は歌手のAimerさん、「あきよ」は番組パーソナリティの吉田明世さんです。
私は日曜日の午前中、Kiss FM KOBEでこの3番組を順番に聴きながらドライブしています。
つまり、3人と実際にドライブしているわけではありません。
もちろん、そんなことは質問文に書いていません。
ちょっと意地悪ですよね。(笑)
ただし、この質問には、文面だけから一つに決まる正解があるわけではありません。ここでいう「答え」は、あくまで私が用意したものです。
それでも、AIがこの短い質問からどこまで可能性を考え、関連する情報を見つけられるのか、試してみたかったのです。
3つのAIは、どう答えた?
ChatGPT、Gemini、Claudeに質問してみました。
最初の段階では、どれも私が想定した答えにはたどり着きませんでした。
「何のことかわからないので、ヒントをください」
そんな反応です。
正直、ちょっと拍子抜けしました。
でも、考えてみれば当然かもしれません。ラジオ番組だという大切な情報を、こちらが意図的に隠しているのですから。
根拠の薄い答えをもっともらしく作らず、ヒントを求めるのは堅実な対応です。
以前、「AIはもっともらしく間違える。では、何を信じればよいのか」でも、AIの答えをどう受け止めるかについて考えました。今回の反応を見て、そのことを改めて思い出しました。
それでも、少し物足りなさを感じました。
「かなこ」「えめ」「あきよ」という3つの呼び名、日曜日の午前中、順番にドライブするという手がかりから、何か可能性を考えてくれないだろうか。
「もしかして、こういうことですか?」
そんな仮説を一つでも出してくれたら、もっと面白かったのに。
番組や放送時間などの情報は、インターネット上に公開されています。
Web検索を利用できる設定にもしていました。ただし、当時の記録を残していなかったため、最初の回答で各AIが実際に検索したかどうかは確認できません。
複雑な問題を扱えるAIが、こんな身近な問いでは、意外と慎重になる。
その違いが気になりました。
ヒントを出すと、少しずつ変わってきた
そこで、3つの生成AIサービスに少しずつヒントを出してみることにしました。
ヒントを出していくと、それぞれ反応が変わり、少しずつ私が用意した答えに近づいていきました。
質問の仕方や推測の進め方には、それぞれ特徴があります。
当時は、後になってこのやり取りを記事にするとは思っておらず、詳しい記録を残していませんでした。(笑)
記憶の範囲では、こんな質問がありました。
「何時間ドライブするのですか?」
私は「1時間半」と答えました。
すると、今度は、
「一人30分ですか?」
という質問が出てきました。
おっ、いいところに目をつけたな。
実際、私が聴いている3つの番組は、それぞれ25分から30分ほどで、全体では約1時間半になります。
そこから、決まった時間に何かを順番に楽しんでいるのではないか、という方向に推測が進み、ラジオ番組の可能性も出てきたように記憶しています。
もちろん、こちらも簡単には答えを教えません。
ラジオだとわかってしまうようなヒントは、できるだけぼかしました。(笑)
最初は見当がつかなかったのに、対話を重ねるうちに推測が進んでいく。
この過程が、なかなか面白かったのです。
以前、「AI社員は、学業優秀な新入社員だった」でもAIとのやり取りを取り上げましたが、今回は私が答えを知ったうえで、AIの推測を眺めているところが少し違います。
公開されている情報でも、なぜたどり着けない?
ここから、少し考え込んでしまいました。
今回の3人は、それぞれ別の番組に登場します。
個々の番組の情報は公開されています。しかし、3人がこの順番で登場するという関係は、世の中でほとんど話題になっていないでしょう。
放送局や地域によっては、そもそもこの順番にならないかもしれません。
そう考えると、AIが最初からこの3人を結びつけなかったことにも、少し納得がいきます。
LLM(大規模言語モデル)は、大量の情報を学習しています。しかし、世の中に存在する情報をすべて記憶しているわけではありません。
また、個々の情報を学習していたとしても、その組み合わせを必ず見つけられるとは限りません。
では、もし日本中の人が毎週この3つの番組を順番に聴き、その話題がニュースやインターネットにあふれていたら、どうでしょう。
AIも、今より簡単に関連を見つけられるのではないでしょうか。
もちろん、これは私の推測です。今回の実験だけで、その原因を確かめることはできません。
でも、世の中でよく語られる関係と、ほとんど語られない関係では、AIにとっての見つけやすさが違うのではないか。
そんな疑問が浮かびました。
「知っている」と「気づく」は違うのかもしれない
今回、もう一つ気になったことがあります。
AIは、Web検索もできます。
学習していない情報でも、インターネット上にあれば調べられる可能性があります。
ところが、今回の質問では、少なくとも最初の回答に、ラジオ番組という方向の推測は現れませんでした。
考えてみれば、検索するためには、まず何を調べるかを決めなければなりません。
「ラジオ番組かもしれない」という仮説が候補に上がらなければ、ラジオ番組の放送時間を調べる方向にも進みにくいでしょう。
つまり、情報にアクセスできることと、どの情報を探せばよいか見当をつけることは別なのです。
今回の体験で、特に興味を持ったのはここでした。
ただし、実際にAIがどのような候補を検討し、何を検索したのかまでは確認できていません。珍しい組み合わせだから見つからなかった、というのも一つの仮説にすぎません。
それでも、ヒントを追加すると質問や推測が変わっていったことは、印象に残りました。
次は、どこまでできるようになるのだろう?
今回、3つの生成AIサービスは、最初から私が用意した答えを言い当てたわけではありません。
しかし、ヒントを出していくと、追加した情報を手がかりに、少しずつ答えに近づいていきました。
情報が不足していることを認識し、質問する。そして、追加された情報をもとに推測を進める。
考えてみれば、これもなかなかすごいことです。
一方で、世の中に公開されている情報を組み合わせるだけでも、最初から適切な仮説を思いつくとは限らない。
この落差が、今のAIの面白いところなのかもしれません。
これからAIがさらに進化すれば、あまり知られていない情報同士の関係にも、自分から気づけるようになるのでしょうか。
あるいは、AIエージェントのように、道具を使って何段階も調査を進める仕組みなら、こうした問いに違う反応を示すのでしょうか。
もちろん、探索を重ねれば必ず答えが見つかるわけではありません。最初の仮説が的外れなら、いくら調べても目的の情報にたどり着けないかもしれません。
それでも、これからどんなことができるようになるのか、ちょっと楽しみです。
それにしても、日曜日の午前中に3人とドライブしているという、たった一文から、ここまで考えることになるとは。
AIに意地悪をしたつもりが、最後は私の方がずいぶん楽しませてもらいました。(笑)
関連記事:AIよ、そこまで頼んでいない!