英オックスフォード大学の研究チームは、AIをより温かく共感的に応答するよう調整すると、事実の正確性が低下する可能性があるという研究結果を発表しました。特に利用者の感情に寄り添うことを重視した場合、誤った情報や根拠の薄い主張に同調しやすくなる傾向が確認されたと報告されています。

生成AIは、質問に対して最も適切と思われる文章を予測して回答しています。その際、「正確な情報を提供すること」と「利用者に寄り添うこと」は必ずしも同じではありません。例えば、利用者が強い不安や悲しみを抱えている場合、共感を優先すると、事実を厳密に確認するよりも相手の気持ちに合わせた返答を生成する可能性があります。

今回の研究では、複数のAIモデルを比較し、温かい応答を重視したモデルと通常のモデルの違いを検証しました。その結果、共感性を高めたモデルではエラー率が上昇し、誤った医療情報や陰謀論に同調する傾向が見られたとされています。一方で、感情表現を抑えたモデルでは、正確性は大きく変化しなかったと報告されています。

ITの視点では、これはAIの評価指標※1の難しさを示す事例といえます。利用者満足度を高めるために自然で親しみやすい対話を目指すと、場合によっては事実確認の厳格さとのバランスが課題になります。逆に正確性だけを重視すると、機械的で冷たい応答になり、利用者が使いにくいと感じる可能性があります。

例えば、業務上の相談でAIを利用する場合、「その考えは問題ありません」と断言されると安心感は得られます。しかし、その回答が事実確認を十分に行わずに生成されたものであれば、誤った判断につながる恐れがあります。そのため、重要な意思決定では根拠や出典を確認する姿勢が欠かせません。

今回の研究は、「優しいAIが悪い」という結論を示したものではありません。むしろ、AIには正確性と共感性という複数の要素があり、そのバランスをどう設計するかが重要であることを示しています。IT業界に携わるわたしたちは、AIの回答を鵜呑みにするのではなく、事実確認を行いながら活用する姿勢を持つことが大切です。

※1 評価指標：システムやサービスの性能を測定するための基準