ニューラルネットワークの蒸留

大規模で複雑な教師ネットワークの出力をもとに，より小さなネットワークを学習する蒸留について．機械学習モデルの性能評価で重要なのは，学習データに対する正解率ではなく，学習データに含まれていないようなデータに対する汎化性能の方．パラメータの…

2019-02-27

SNIP: Single-Shot Network Pruning Based Oo Connection Sensitivity

ICLR2019採択論文"SNIP: Single-Shot Network Pruning Based Oo Connection Sensitivity"をレビュー．元論文はこちら: openreview.net パラメータ数の多い畳み込みニューラルネットワークを，分類精度をほとんど落とさずに大幅にスパース化するnetwork prun…

2019-01-07

ICLR2019気になった論文メモ (3)

ICLR DeepLearning Model Compression Generative Models Domain Adaptation Review

ICLR2019採択論文のうち，気になったものをメモしていく．その2. noconocolib.hatenablog.com Combinatorial Attacks on Binarized Neural Networks Exemplar Guided Unsupervised Image-to-Image Translation with Semantic Consistency The Unusual Effec…

2019-01-04

ICLR2019気になった論文メモ

ICLR Model Compression DeepLearning Review Bayesian NNs Representation Learning Graph Neural Networks Generative Models

ICLR2019採択論文のうち，気になったものをメモしていく．その２． noconocolib.hatenablog.com Slimmable Neural Networks Deep Decoder: Concise Image Representations from Untrained Non-convolutional Networks Three Mechanisms of Weight Decay Reg…

2018-12-31

Value-aware Quantization for Training and Inference of Neural Networks

DeepLearning Model Compression Review ECCV

ECCV2018採択論文"Value-aware Quantization for Training and Inference of Neural Networks"の解説． paper link Abstract ニューラルネットワークの量子化手法であるV-Quantの提案．ネットワークの重みで用いられる値のprecisionを削減することでモデル…

2018-12-21

XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks

Review DeepLearning Model Compression ECCV

ECCV2016に採択されたXNOR-Netについての解説． arxiv.org この論文は畳み込みニューラルネットワークについて，2種類の効率的な近似を提案: Binary-Weight-Networks XNOR-Networks Binary-Weight-Networksではフィルタの重みが2値で表現され，XNOR-Networks…