ICLR2019採択論文のうち，気になったものをメモしていく．
その3．
- Efficient Augmentation via Data Subsampling
- AdaShift: Decorrelation and Convergence of Adaptive Learning Rate Methods
- A Closer Look at Few-shot Classification
- Variational Autoencoder with Arbitrary Conditioning
Efficient Augmentation via Data Subsampling
ニューラルネットの汎化性能の向上のために行われるデータ拡張は，全てのデータ点について適用してしまうとストレージの容量や学習コストを過度に圧迫してしまうため，データ拡張を適用すべきデータセットの部分集合を効率的にサンプリングすることで，計算量の問題を解決した上で全てのデータにデータ拡張を適用した場合と同程度の性能のモデルが学習可能であることを示している．
AdaShift: Decorrelation and Convergence of Adaptive Learning Rate Methods
Adamやその他の学習率がadaptiveなオプティマイザが最適解に収束できない問題について，それらが勾配と二次モーメントとの間の不適切な相関関係によるものであると主張している．それに基づき，勾配と二次モーメントを無相関化するAdaShiftを提案し，Adamが最適解に収束しない問題を解決できるとしている．
A Closer Look at Few-shot Classification
限られたラベル情報から学習を行うFew-shot Classification問題についての研究が数多くなされているが，それらの公平な比較はどんどん難しくなってきている． 論文では，
- いくつかの代表的なfew-shot learning手法の一貫した比較を行い，ドメイン間の違いが限られている場合，手法間のギャップが少なくなることを示す
- ベースライン手法にわずかに変更を加えるだけで，各データセットについて大幅な性能向上が達成できることを示す
- few-shot classificationの手法に対するクロスドメインの汎化性能を評価する新しい実験設定の提案
Variational Autoencoder with Arbitrary Conditioning
特徴内の任意の部分集合を特徴づけることができるVariational Autoencoder with Arbitrary Conditioning (VAEAC)を提案． 特徴付けは実数とカテゴリカル変数のどちらでも受け付けることができる．
