ICLR2019気になった論文メモ (2)

ICLR Adversarial Attacks DeepLearning GANs Generative Models Review Representation Learning

ICLR2019採択論文のうち，気になったものをメモしていく．

その１.

noconocolib.hatenablog.com

その３．

noconocolib.hatenablog.com

Pay Less Attention with Lightweight and Dynamic Convolutions

チャンネル方向に重みを共有するLightweight Convolutionと重みを動的に生成するDynamic Convolutionを提案．

f:id:noconocolib:20190104233656p:plain
Figure 1: Self-attention computes attention weights by comparing all pairs of elements to each other (a) while as dynamic convolutions predict separate kernels for each time-step (b).

f:id:noconocolib:20190104233627p:plain
Figure 2: Illustration of self-attention, lightweight convolutions and dynamic convolutions.

Transferring Knowledge across Learning Processes

Transfer Learningでは，転移先タスクと転移前のタスクの関連性が低い場合，ソースモデルの最後のパラメータの情報のみを転移するアプローチはうまくいかない場合が多い．それに対して，よりハイレベルな情報を学習時に情報の転移をするためのフレームワークであるLeapを提案する．

Large Scale GAN Training for High Fidelity Natural Image Synthesis

class-conditionalな画像生成タスクについて，バッチサイズおよびチャンネルサイズを大幅に増やした大規模なGANを用いてSOTAを達成．

f:id:noconocolib:20190104235814p:plain
Figure 1: Class-conditional samples generated by our model.

Unsupervised Adversarial Image Reconstruction

教師なしの設定で，欠損画像を復元する手法の提案．提案手法では，このタスクをMAP推定に置き換えて解いている．

f:id:noconocolib:20190105000759p:plain
Figure 4 – Model reconstructions for different corruption processes, on CelebA. Each row corresponds to a specific corruption process, and each column to a particular model.

Multi-class classification without multi-class labels

マルチラベルのアノテーションなしにマルチラベルのタスクを解く手法を提案． 提案手法では，あるサンプルに対するマルチクラスのラベルの代わりに，サンプル間の類似度を利用することでマルチラベル分類に取り組む． 提案手法はサンプル間の類似度の予測のためにバイナリ分類器を学習させ，その過程でマルチラベル分類器を獲得する．

f:id:noconocolib:20190105001926p:plain
Figure 1: Problem reduction schemes for multi-class classification. This work proposes scheme (b), which introduces a binary classifier that captures sij . Note that sij represents the probability that xi and xj belong to the same class.