生成AIは、学習データの偏りや不足、あるいはランダムな単語選択（トークン）の結合によって、事実とは異なる情報をあたかも真実であるかのように生成することがあります。
これを「ハルシネーション（幻覚）」と呼びます。
ある著者が歴史修正主義についてAIと対話していた際、AIが突然、後藤新平に関する虚偽の逸話や、架空の文献を自信を持って生成し、その嘘を擁護し続けるという事態が発生しました。
また、歴史系のレポート添削担当者からは、AIが生成した「存在しない研究者による存在しない文献」を参考文献として挙げる学生が増えているとの報告もあります。
AIは新聞記事のページ番号や裁判の判決事例まで捏造することが指摘されており、人間が「判らないなら判らないと言え」と不満を漏らすほどです。

Powered by Firstory Hosting