【疑問】LLM はなんで知らんことでも自信満々に答えるん？ハルシネーションと「当てずっぽうが得する採点」【AI】

LLM に、ある論文の著者を聞いたら、それっぽい名前を自信ありげに答えた
調べたら存在しない人やった。なんで「知りません」って言わんの

＞＞1
もっともらしいけど事実と違う内容を出すことを、ハルシネーションと呼んでる
よく使われる分け方は2つ。入力（質問や渡した文書）と食い違うのが内在的、入力からは確かめられない外の事実と食い違うのが外在的。要約の研究やサーベイ（Ji et al., 2023）で整理されてる

＞＞2
でも、なんで起きるん。学習データに嘘が混ざってるから？

＞＞3
それも原因の1つやけど、データが全部正しくても起きる、という分析がある（Kalai et al., 2025）
学習データに1回しか出てこない事実（誕生日みたいな、規則性のないもの）は、モデルが覚えきれない。その割合くらいは、事前学習のあとのモデルが間違えると見積もってる

＞＞4
1回しか出てこないと間違えるって、どういう理屈なん

＞＞5
何回も出てくる有名な人の誕生日は、データから当てられる。1回しか出てこない人の誕生日は、パターンから推し量れない
それでも言語モデルは「誕生日はこういう形の文」という分布をまねるように学習してるから、それっぽい日付を出してしまう

＞＞6
じゃあ、あとから「分からんときは分からんと言え」って教えたら直るやろ

＞＞7
同じ論文は、それが直りにくい理由を評価の採点に求めてる
正解に1点、間違いと「分かりません」に0点、という採点やと、自信が低くても答えたほうが期待される点が高い
確信30%なら、答えれば期待値0.3点、答えなければ0点。ベンチマークの多くがこの採点やから、当てずっぽうをするモデルのほうが上位になる

＞＞8
試験で、空欄にするより何か書いたほうがええのと同じやな

＞＞9
論文でもまさにそのたとえを使ってる。対策として出してるのは、間違いに罰点をつけて、それを問題文で明示すること
「確信が $t$ より高いときだけ答えよ。間違えたら $t/(1-t)$ 点引く」とすると、確信 $p$ で答えたときの期待値は

これが0より大きくなるのは、ちょうど $p>t$ のとき

＞＞10
数字で見たい

＞＞11
$t=0.5$ なら罰点は1。確信0.3で答えると $0.3-0.7=-0.4$、0.6なら $+0.2$
$t=0.9$ なら罰点は9。確信0.6でも $0.6-0.4\times 9=-3.0$ で、答えないほうが得
基準を問題文に書いておけば、どの基準でも「確信が足りなければ答えない」のが最善になる

＞＞12
それって評価のルールの話で、モデルの中身は何も変わってなくない？

＞＞13
評価が変わると、それに合わせて調整されるモデルの振る舞いが変わる、という主張
ただ、採点を変えるだけでハルシネーションがなくなるとまでは言ってない。事前学習で起きる分は残る

＞＞14
いや、それでも検索させれば済む話やろ。RAG で根拠を渡せば、作り話はほぼ出んのちゃう

＞＞15
検索で根拠を渡すと減ることは多くの研究で示されてる。でも検索で見つからなかったときに当てずっぽうをする動機は、採点が同じなら残る
それに、渡した文書と食い違う答え（内在的なほう）は、検索では防げない

出てしまったハルシネーションを見つける方法はあるん？

＞＞17
同じ質問で何回か答えを出させて、答えどうしが食い違うかを見るやり方がある（SelfCheckGPT, Manakul et al., 2023）
知ってることは何回聞いても同じ答えになりやすく、作った答えは毎回ばらつきやすい、という考え

＞＞18
確信の数字そのものを出させるのは？

＞＞19
モデルの出す確率が、実際に当たる割合と合ってるかどうか（較正）が前提になる
事前学習だけのモデルは較正が取れてることが多い一方、そのあとの調整で崩れることがある、という報告もある