【疑問】BERTの事前学習、GLUEでの評価、PaLMと大規模言語モデル、どうつながってるん？【G検定】

BERT・GLUE・PaLM・大規模言語モデルが同じ項目にまとまってる。どういう流れなん？

前提のおさらい。Transformerは、Self-Attentionで文の中の全部の語の関係を一度に計算するモデル。エンコーダとデコーダからなる

＞＞1
BERTは、デヴリンらの2018年の論文。Transformerのエンコーダだけを重ねたモデル
大量の文章で事前学習しておいて、あとで目的のタスクの少ないデータでファインチューニングする

＞＞3
事前学習は何を当てる練習なん？正解のラベルは要らんの？

＞＞4
要らん。文章そのものから問題を作る
Masked Language Model：文の語の15%を隠して、前後の両方の文脈から当てる。長さ512の入力なら $512\times 0.15=76.8$、だいたい77個の語を当てる
Next Sentence Prediction：2つの文が、もとの文章で続いていたかどうかを当てる

＞＞5
前後の両方を見られるのがELMoとの違い？ELMoも双方向やったやろ

＞＞6
ELMoは、左から読むLSTMと右から読むLSTMを別々に学習してつなげてた。BERTはSelf-Attentionで、各層で最初から両方向を同時に見る

＞＞3
GLUEは、モデルのことばの理解力をまとめて測る評価用のデータの集まり。ワンらの2018年の論文
感情分析、2文の意味が同じか、文から別の文が言えるか、など9種類のタスクがある。BERTはGLUEで当時の最高の成績を出した

＞＞8
1つの数字で比べられるのは便利やけど、高い点のモデルがすぐ出て、GLUEだけでは差がつかんようになった。もっと難しい評価用のデータが次々に作られてる

大規模言語モデルは、とても多くのパラメータを持ち、とても大量の文章で学習した言語モデル
多くはTransformerのデコーダを使って、次の語を当てる練習を続ける。文章をつづけて書くことで、質問への答えや要約も1つのモデルでこなす

＞＞10
PaLMは、チャウドリーらの2022年の論文で、パラメータは5400億個
1個を2バイトで持つと、$540\times 10^9\times 2=1080\times 10^9$ バイトで、重みだけで約1080GB。1枚の計算機には乗らん

＞＞11
大きくすればするほどええ、って話なん？

＞＞12
PaLMの論文では、モデルを大きくすると、一部のタスクで性能が急に上がる例が報告されてる
ただ、学習と動かすのにかかる計算は大きくなるし、もっともらしい間違いを書くこと（ハルシネーション）も残る。大きさだけで決まるわけやない