データセキュリティと敵対的攻撃
敵対的攻撃とデータ汚染攻撃の違い。AIシステム特有のセキュリティリスクを学びます。
AIシステムを守るセキュリティ。敵対的攻撃・データ汚染攻撃の理解は必須。
胡桃 あんず
AIにも『攻撃』があるって聞いた!
若葉 みどり 先生
そうなのよ、敵対的攻撃(Adversarial Attack)とデータ汚染攻撃(Data Poisoning)が代表的ね。
白銀 ゆき
敵対的攻撃は『推論時に微小な摂動を加えて誤分類させる攻撃』。 例えば、パンダの画像にノイズを加えるとAIには『テナガザル』に見えてしまう、といった具合。 人間にはほぼ気づかない違い。
桜井 もも
怖いです…
白銀 ゆき
応用例として、『止まれ標識』に小さな模様を貼って自動運転車に制限速度標識と誤認させる、といった研究もある。 セキュリティ上の重大リスク。
胡桃 あんず
データ汚染攻撃は?
若葉 みどり 先生
こちらは『学習時に悪意のあるデータを混入させ、モデルの挙動を歪める攻撃』なのよ。 例えば、スパムフィルターに『正常メール』とラベル付けしたスパムを大量に混ぜ込んで、本物のスパムを通すように仕向ける、といった具合ね。
白銀 ゆき
他にもモデル抽出攻撃(APIから問い合わせを繰り返してモデルを再現)、メンバーシップ推論攻撃(訓練データに特定サンプルが含まれていたか推定)などがある。
桜井 もも
守る側はどう対策すればいいんですかぁ?
若葉 みどり 先生
敵対的訓練(攻撃データを訓練に混ぜて頑健化)、入力検証、出力監視、差分プライバシー、モデルアクセス制限、訓練データの管理など、対策はいろいろあるのよ。 多層防御が基本ということね。
胡桃 あんず
AIだから安全、ではないんだね。
白銀 ゆき
むしろAIシステム特有のリスクが増えるくらい。 データサイエンティストにとってもセキュリティの基本知識は必須よ。
白銀 ゆき
DS検定★ では『敵対的攻撃 vs データ汚染攻撃の違い』『推論時 vs 学習時』が頻出。
確認クイズ
AIシステムへの『データ汚染攻撃(Data Poisoning)』の特徴として正しいのはどれか。
- 推論時に入力に微小な摂動を加える
- 学習時に悪意のあるデータを混入させ、モデルの挙動を歪める
- APIから情報を盗み出す
- ハードウェア破壊を伴う
こたえを見る
正解: 2. 学習時に悪意のあるデータを混入させ、モデルの挙動を歪める
学習時に悪意のあるデータを混入させ、モデルの挙動を歪めるのがデータ汚染攻撃。 推論時の敵対的攻撃と区別するのが頻出問題。 学習データの来歴管理(データガバナンス)が対策の核です。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
データサイエンティスト検定スタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: データサイエンティスト協会 公式サイト