【疑問】AIの安全性とセキュリティ、敵対的サンプル・データ汚染・モデル汚染・モデル窃取・データ窃取【G検定】

画像認識のAIは人より正確って言うけど、わざとだますことってできるん？

前提のおさらい。畳み込みニューラルネットワークは、画像の画素の値にフィルタを掛けて特徴マップを作り、最後にクラスを出す。入力の画素が少し変われば、出力も少し変わる

＞＞1
できる。人には見分けがつかないくらい小さいノイズを画像に足すだけで、別のクラスと判定させられる。こういう画像を敵対的サンプル（Adversarial Examples）、それを使う攻撃をAdversarial Attackという
セゲディらの2014年の論文で指摘された

＞＞3
グッドフェローらの2015年の論文のFGSMは、誤差を入力で微分して、その符号の向きに $\epsilon$ だけ全部の画素を動かす
$\epsilon =0.01$ なら、値0.5の画素は、微分が正なら0.51になる。1つ1つは小さいけど、224×224×3の150528個の画素で同じ向きにずらすと、重みの大きさが平均0.1の層の出力は $0.01\times 150528\times 0.1\approx 150$ も動きうる

＞＞4
論文では、パンダの画像に $\epsilon =0.007$ のノイズを足しただけで、テナガザルと高い確信度で判定された。次元が多いほど、小さなずれが積み重なる、という説明

＞＞5
画像だけの話？

＞＞6
画像だけやない。道路標識にシールを貼って誤認識させる、音声に聞こえにくい音をまぜる、などの研究もある。自動運転のように、間違いが事故につながる場面で特に問題になる

ほかの攻撃も整理しとく
データ汚染：学習データに細工したデータをまぜて、モデルの判断をゆがめる
モデル汚染：特定の印（トリガー）が入ったときだけおかしな出力をするように、モデルに仕込む
モデル窃取：APIに大量に問い合わせて、その答えから、もとのモデルとよく似たモデルを作る
データ窃取：モデルの出力から、学習に使ったデータを推測したり、あるデータが学習に使われたかを当てたりする

＞＞8
モデル窃取って、問い合わせるだけで盗めるんか

＞＞9
問い合わせの答えを正解のラベルとして、自分のモデルを学習させればええ。対策として、問い合わせの回数を制限する、確率の細かい値までは返さない、などがある

＞＞10
対策の考え方として、セキュリティ・バイ・デザインがある。あとから穴をふさぐんやなく、設計の最初から安全を組みこむ。敵対的サンプルをまぜて学習させる、学習データの出どころを管理する、などもその一部