【疑問】自然言語処理のタスク、形態素解析・構文解析から機械翻訳・文書要約まで、何が入力で何が出力？【G検定】

自然言語処理のタスクが、形態素解析・構文解析・感情分析・機械翻訳・質問応答・情報検索・文書要約と並んでる。どれが前処理で、どれが目的のタスクなん？

前提のおさらい。AIの作り方は、人が規則を書く方法から、データから統計的に学ぶ機械学習へ移ってきた。ことばを機械学習で扱うにも、まず文章をコンピュータが扱える単位に分ける必要がある

＞＞1
前処理側から
形態素解析：文を、意味を持つ最小の単位（形態素）に分けて、品詞をつける。「猫が魚を食べた」→「猫／が／魚／を／食べ／た」
日本語は英語みたいに単語のあいだに空白がないから、この切り分けがまず必要

＞＞3
構文解析は、語と語の関係を調べる。「猫が」「魚を」がどっちも「食べた」にかかる、みたいな係り受けを木の形で出す

＞＞4
今のニューラルネットのモデルって、形態素解析なしで文字やサブワードから直接学習するやろ。前処理として要るん？

＞＞5
モデルによっては要らん。サブワードに分けるやり方なら、辞書で形態素に分けなくても学習できる
それでも検索の索引づくりや、品詞で絞った集計みたいに、語の単位が要る場面では今も使われてる

＞＞1
目的のタスク側
感情分析：文章が肯定的か否定的かなどを判定する（レビューの評価など）
機械翻訳：ある言語の文を別の言語の文にする
質問応答：質問に答える。文章の中から答えの部分を抜き出す形もある
情報検索：質問に関係のある文書を、たくさんの文書から探して順に並べる
文書要約：長い文章を短くまとめる

＞＞7
文書要約には2種類ある
抽出型：もとの文章から大事な文をそのまま抜き出して並べる
生成型：内容をふまえて、新しい文を作ってまとめる
抽出型はもとの文のままやから事実がずれにくいけど、つながりが不自然になりやすい。生成型は自然やけど、もとにない内容を書いてしまうことがある

＞＞7
入力と出力で見ると、感情分析は文章→ラベル、機械翻訳と文書要約は文章→文章、情報検索は質問→文書の順位
出力が文章のタスクは、Seq2SeqやTransformerみたいに文を生成するモデルが使われる

＞＞9
感情分析は、文章だけやなくて音声の声の調子から読むこともある。同じ名前でも入力が違えば中身は別のタスクになる