読むだけでちょっと賢くなる、架空のまとめスレ

【疑問】トピックモデルのLDAって、文書の何を見つけてるん?線形判別分析のLDAとは別もの?【G検定】

8レスカテゴリ:AI・機械学習
1: 名無しさん

トピックモデルの潜在的ディリクレ配分法(LDA)、名前からして何をしてるんか分からん

2: 名無しさん

前提のおさらい。次元削減は、たくさんの変数を少ない軸にまとめる教師なし学習。文書を「何万種類の単語の出現回数」で表すと変数が多すぎるから、少ない数の「話題」にまとめたい

3: 名無しさん

>>1
LDAは、1つの文書はいくつかのトピック(話題)がまざってできていて、1つのトピックは単語の出やすさの分布、と考えるモデル
ブライ、ン(Ng)、ジョーダンの2003年の論文で提案された。正解のラベルなしで、文書の集まりからトピックを見つける

4: 名無しさん

>>3
数字で例を出す。ある記事が「スポーツ70%・経済30%」のまざり方で、「試合」という単語の出やすさがスポーツのトピックで0.10、経済のトピックで0.01とすると

LDAは逆に、実際の文書の単語から、このまざり方とトピックごとの単語の出やすさを推定する

5: 名無しさん

>>4
クラスタリングで文書を分けるのと何が違うん?

6: 名無しさん

>>5
クラスタリングは1つの文書を1つのグループに入れる。LDAは「スポーツ70%・経済30%」みたいに、1つの文書が複数のトピックを持てる
スタジアムの建設費の記事みたいに、話題がまたがる文書をそのまま表せる

7: 名無しさん

>>6
便利やけど、トピックの数は人が先に決めなあかん。それに出てきたトピックは単語の分布でしかないから、「これはスポーツ」と名前をつけるのは人の仕事

8: 名無しさん

>>1
線形判別分析も略すとLDAやけど、あれはラベルを使ってクラスを分ける軸を探す教師ありの手法で、まったく別もの。G検定の教師なし学習で出てくるLDAは、トピックモデルのほう

管理人のひとこと