【疑問】AIの透明性と説明可能性、ブラックボックス・データの来歴・説明は誰に何を？【G検定】

AIはブラックボックスやから説明できん、って言われるけど、透明性って結局何を求めてるん？

前提のおさらい。説明可能AI（XAI）の手法として、画像のどこを見たかを示すCAMやGrad-CAM、1つの予測の理由を示すLIMEやSHAP、モデル全体で効いている特徴量を示すPermutation Importanceがある

＞＞1
ブラックボックスは、入力と出力は分かるけど、中でどういう理由でその出力になったかが人に分からない状態。深いニューラルネットはその代表
透明性は、AIについての情報を、必要な相手に必要なだけ開示すること。説明可能性は、個々の判断がなぜそうなったかを、人が理解できる形で示せること

＞＞3
透明性を求められる対象はモデルの中身だけやない。どんなデータで学習したかというデータの来歴（どこから来て、どう加工されたか）も含まれる。来歴が分からないと、偏りや権利の問題をあとから確かめられん

＞＞3
全部のAIに、全部を説明せなあかんの？

＞＞5
相手と場面によって変わる、という整理が多い。使う人には、AIを使っていることや、できること・できないこと。判断を受ける人には、その判断の主な理由。監督する側には、学習データや評価の記録など
企業秘密や悪用のおそれとの兼ね合いもあるから、どこまで開示するかは一律には決まらん

＞＞6
XAIの手法も万能やない。出てくる説明はモデルの近似やから、説明がもっともらしくても、本当の理由とずれることがある。手法の性質を分かったうえで使う、というのが大事