CVPR2018採択論文"Boosting Adversarial Attacks with Momentum"のレビュー．

既存のAdversarial Attacksの手法にモーメンタムの概念を導入して，攻撃性能とtransferabilityの両立を達成．

同時に，攻撃手法のアンサンブル化によって複数モデルに対する同時攻撃可能性の実験を行っている．

Abstract

既存のAdversarial Attackstは，Black-Boxな設定では著しく成功率が下がってしまう．これを解決するため，Adversarial Attacksを促進するmomentum-based iterative algorithmsを提案．

提案手法はモーメンタムを活用することで，iterative processの更新方向の安定化と局所最適解に陥る危険性の回避ができる．

提案手法は，Black-Box AttacksおよびWhite-Box Attacksの両方に適用でき，高い成功率を達成できる．

また，アンサンブル攻撃手法による複数モデルの同時攻撃についての解析を行い，Adversarial Examplesのtransferabilityを示した．

Momentum iterative fast gradient sign method

non-targeted adversarial example $x^*$の生成のため，以下の最適化問題を解く．

$argmax_{x^{*}} J(x^{*}, y), s.t. |x^{*} - x|_{\infty} \leq \epsilon$

$\epsilon$ はadversarial perturbationのサイズ．

もともとのFGSMでは，データ点周辺の決定境界の線形性を仮定した上で，以下の式のように，入力サンプルについての勾配の方向を一度だけ利用する．

$x^{*} = x + \epsilon \cdot sign(\nabla_x J(x, y))$

しかし実際には，データ分布が巨大な場合には線形性についての仮定は満たせれない場合が多く，こうした場合におけるFGSMの生成するAdversarial Examplesの攻撃性能は著しく低下してしまう（under-fit）．

一方で，iterative FGSMは各イテレーションで貪欲に勾配方向へadversarial examplesを更新する．

$x^{*}_0 = x$

$x^{*}_{t+1} = x^*_t + \alpha \cdot sign(\nabla_x J(x^*_t, y))$

この手法は，一つの攻撃対象のモデルのみに過剰に適合してしまい，他のモデルへの攻撃能力は低くなってしまう（overfit）．

これらの２つの手法の各課題を解決するため，論文ではiterative FGSMにmomentumを導入する．これによって，transferabilityを担保したまま，高い攻撃性能をもったAdversarial Examplesを生成できる．

f:id:noconocolib:20190129181629p:plain

複数モデルの同時攻撃のための，Adversarial Attacksのアンサンブル手法であるensemble in logitsの提案．

$l(x) = \sum^K_{k=1} w_k l_k(x)$

損失関数は，

$J(x, y) = -1_y \cdot \log(softmax(l(x)))$

$1_y$ はターゲットラベル $y$ のone-hot encoding．