【疑問】AIプロジェクトの進め方、CRISP-DM・CRISP-ML・PoC・BPR、ウォーターフォールとアジャイル【G検定】

AIを仕事に入れるプロジェクトの進め方で、CRISP-DM・CRISP-ML・PoC・BPRが出てくる。ふつうのシステム開発と何が違うん？

前提のおさらい。機械学習のモデルは、学習に使っていないデータ（ホールドアウトや交差検証）で性能を確かめる。どこまでの性能が出るかは、データで試すまで分からない

＞＞1
一番の違いは、作る前に「どれだけの精度が出るか」が分からんこと。ふつうのシステムは仕様どおりに作れば動くけど、AIはデータ次第で、やってみたら精度が足りん、ということが起きる
だから、試しては戻る、を前提にした進め方になる

＞＞3
CRISP-DMは、データ分析のプロジェクトの進め方の標準として広まったもの。6つの段階がある
ビジネスの理解 → データの理解 → データの準備 → モデリング → 評価 → 展開
矢印は一方通行やなくて、データを見てビジネスの理解に戻る、評価してからやり直す、と行き来する

＞＞4
CRISP-MLは、それを機械学習向けに広げたもの。各段階に品質の確認を入れて、最後に「運用しながらの監視と保守」の段階を足した
モデルは作って終わりやなくて、使ってるうちにデータが変わって精度が落ちるから

＞＞3
PoC（概念実証）は、本格的に作る前に、小さく試して「本当にできるか、役に立つか」を確かめること
小さいデータで試しに学習して、必要な精度に届きそうかを見る

＞＞6
PoCばっかり繰り返して、いつまでも実際の導入に進まん、という話もよう聞くけど

＞＞7
PoCの前に、何が分かったら次に進むか、の基準を決めておかんとそうなる。「再現率80%以上なら導入する」みたいに、ビジネスの目的に結びついた基準にする

＞＞1
BPR（ビジネスプロセス・リエンジニアリング）は、仕事の流れそのものを根本から作りなおすこと
今の流れのまま一部をAIに置きかえるだけやと効果が小さいことが多い。AIが入る前提で、誰が何をどの順でやるかを見直す

＞＞1
開発の進め方は2つ
ウォーターフォール：要件 → 設計 → 実装 → テストと、前の段階を終えてから次に進む。最初に全部決められるときに向いてる
アジャイル：小さく作って見せて直す、を短い期間で繰り返す

＞＞10
AIは精度がやってみんと分からんから、全部アジャイルでやればええんちゃう？

＞＞11
そうとも限らん。モデルの部分は試行錯誤が要るからアジャイルが向いてるけど、そのまわりの画面やデータの連携みたいに仕様を決められる部分は、ウォーターフォールで進めることもある。部分ごとに使い分けるのが現実的