概要

ニューラルネットの学習スピードそのものを活用したsemi-supervised learningのアルゴリズムであるSaaSを提案．教師あり学習時の学習速度は学習データに含まれる正しいラベル付きデータの割合に強く依存するという観測に着目している．

モデルの説明

提案手法では，ニューラルネットの学習時の収束速度を未知ラベルの推論指標として用いることで半教師あり学習を達成しようとしている．

Fig. 1は学習ラベルに含まれるノイズと学習速度との関係をプロットしたものを示す．

学習データに含まれている正しいラベルの割合が大きいほど，モデルは高速に収束している．

この観測に注目して，提案手法はモデルの学習速度が最大になるように未知ラベルデータのラベルを最適化することで半教師あり学習を行う．

重み $w$ を持つKクラス分類を行うニューラルネットワークを関数 $f_w(x) \in \mathbb{R}^K$ で表現する．

提案手法の鍵となるlearning speedの定量評価のため，論文ではある決まった時間内の累積損失を導入している．

$L_T = \frac{1}{T} \sum{}^T_{t=1} \frac{1}{|B_t|} \sum{}^{|B_t|}_{i=1} l(x_i, y_i; w_i)$

$l()$ はcross-entropy lossを用いている．