最近はプログラミングや調査、分析等にAIを使うことがありますが、一つ注意しておかなければいけないことがあります。

それはAIが知らない情報を推測して回答する場合があるということです。

この特性をきちんと理解しておかないと、誤った情報を正しいと勘違いしてしまい、大変なことになる可能性があります。

ハルシネーションとは何か?

ハルシネーションとは、AIが推測によって事実とは異なることを回答として返すことを指します。

AIは知らない情報を「知らない」と回答するのではなく、何とか推測によって回答を導き出そうとして推測による情報を混ぜて回答をします。

そのため、事実と異なる部分が回答に出て来てしまいます。

最近では出典を明確にして回答するAIが増えたので(それでも出典をウィキペディアにしたりしていて正しくないことがあります)、昔ほどひどいハルシネーションが起こることは減っていますが、それでもAIが回答した内容についてはきちんと人の手で事実検証を行い、間違った箇所があれば訂正するなどの手間が必要です。

ハルシネーションを起こしたと思われるプロンプトとAIの回答例

では、ハルシネーションを起こしたと思われるプロンプトと、AI(Copilot)の回答を見てみましょう。

プロンプト

AIの回答内容(誤っている個所を太字に変換)

上記のCopilotが出した回答には2つ問題点があります。

まず1つめは、国際線のサクララウンジの料金の誤りです。

料金は税込みで4950円と回答していますが、実際にJALのページで料金を確認すると、税込みで8250円でした。

古い出典を利用しているか、信頼できない出典を参考にしており、きちんと事実確認が出来ていないことがうかがえます。

こちらはハルシネーションとは言えず、出典に問題があるために誤った回答を行ったケースと言うことが出来るでしょう。


また、国内線のサクララウンジですが、JAL搭乗者は3000円で利用が出来ます。

しかし、このプロンプトを入力した時には、一時的に羽田空港のサクララウンジはラウンジ改修工事のために有料のラウンジサービスを停止していました。

そのため、Copilotの回答の通り、一時的に一般の乗客向けにお金を払って利用できるサービスが無いという状態になっているのは本当です。

ただ、伝え方が正確ではなく、出典元でもJALの搭乗者は有料で利用できる旨の記載があるのにそれを読み取ることが出来ず、1つの出典元にないからと推測で一般の乗客向けにお金を払って利用できるサービスが無いと結論付けてしまっているように見えます。

なので、2つめの誤りについてはハルシネーションの一種と考えることが出来るでしょう。

ハルシネーションを起こさないためにはどうすればいいか?

AIを利用することでハルシネーションを起こさないことを完全に防げるわけではないですが、工夫次第で頻度を減らすことは出来ます。

対策としてプロンプトに以下の条件を伝えます。

  1. 複数の出典をもとに回答を行うこと
  2. 分からない部分は推測で答えずに分からないと結論付けるように伝えること

AIは日々改良され、ハルシネーションが起きにくいように改善されています。

少し前までは出典を明らかにせずに、AIが持っている知識をもとに回答が生成されるため、ハルシネーションが起きやすい状態でした。

「ツキヨタケは食べられますか?」と質問すると「はい、ツキヨタケは食べられます」と憶測で回答するため、AIは非常に問題の多いツールであったのです。

しかし、最近ではAIが分からない個所はネット上から情報を収集し、回答を作成するようになり、ハルシネーションがだいぶ起きにくくなっています。

それでも、今回試したプロンプトのようにネットの情報の真偽が判断できずに誤った情報をもとに回答を作成するという懸念点があります。

そのため、真偽チェックを行うことはAIを使って仕事を行う上では必須であり、プログラムコードの作成やテストデータの作成の際にAIを使用する場合もAIが回答する内容がすべて正しいと思わず、実際にコードを書いて期待した通りの動作をするのか、テストデータが実際に利用できるかの検証を行うことがAIを用いながらシステムエンジニアの仕事をしていくうえで重要なことになります。

システムエンジニアの仕事としてAIを使うことに対しては他にも注意点があるのですが、ハルシネーションについては起こるものと認識し、AIに渡すプロンプトの工夫を行い、回答内容に人手で正しいかどうかを必ず確認することを徹底することで、ハルシネーションによる情報収集のミスを防ぐことが出来ます。

今回の記事はここまでとなります。
また次の記事でお会いしましょう。