DeepLearning
大規模で複雑な教師ネットワークの出力をもとに，より小さなネットワークを学習する蒸留について． 機械学習モデルの性能評価で重要なのは，学習データに対する正解率ではなく，学習データに含まれていないようなデータに対する汎化性能の方． パラメータの…
ICLR2019採択論文"SNIP: Single-Shot Network Pruning Based Oo Connection Sensitivity"をレビュー． 元論文はこちら: openreview.net パラメータ数の多い畳み込みニューラルネットワークを，分類精度をほとんど落とさずに大幅にスパース化するnetwork prun…
ICLR2019採択論文"Large Scale GAN Training for High Fidelity Natural Image Synthesis"のレビュー． 元論文はこちら BigGANざっくり概要．GANsの規模を超でかくしたら超きれいな画像が作れた． Abstract Generative Adversarial Networks (GANs)の学習を…
GANsで高精細な画像を生成する手法を提案した"Self-Attention Generative Adversarial Networks"のレビュー． 元論文はこちら Abstract Convolutional GANsにself-attention mechanismを導入したSelf-Attention Generative Adversarial Networks (SAGANs)を…
CVPR2018採択論文"Defense against Adversarial Attacks Using High-Level Representation Guided Denoiser"のレビュー． 元論文はこちら Classifierの誤分類を誘発するAdversarial Attacksに対する防御手法の提案． 入力画像に載せられている，悪意のあるノ…
ICCV2017採択論文"Adversarial Examples for Semantic Segmentation and Object Detection"のレビュー． 元論文はこちら． 分類タスクにおいて，ニューラルネットワークの誤分類を誘発する攻撃手法であるAdversarial AttacksがSemantic SegmentationおよびOb…
ICLR2018採択論文"Decision-Based Adversarial Attacks: Reliable Attacks Against Black-Box Machine Learning Models"のレビュー． 元論文はこちら 問題設定としては，クラウドでAPIとして提供されているような機械学習モデルに対して，最終的な分類結果の…
CVPR2017採択論文"Universal adversarial perturbations"のレビュー． 元論文はこちら 複数画像に対して汎用的に使えるuniversal perturbationを用いた分類機に対する攻撃が可能であることを示した論文． Abstract ニューラルネットワークに対して，一つのAd…
CVPR2018採択論文"Boosting Adversarial Attacks with Momentum"のレビュー． 元論文はこちら 既存のAdversarial Attacksの手法にモーメンタムの概念を導入して，攻撃性能とtransferabilityの両立を達成． 同時に，攻撃手法のアンサンブル化によって複数モデ…
ICLR2019採択論文のうち，気になったものをメモしていく． その3． noconocolib.hatenablog.com Efficient Augmentation via Data Subsampling AdaShift: Decorrelation and Convergence of Adaptive Learning Rate Methods A Closer Look at Few-shot Class…
Grad-CAMはConvolutional Neural Networksの可視化手法の一種．CNNが画像のどの情報を元にして分類を行なっているのかを可視化するのに用いられる． Arxiv Project page 今回はこのGrad-CAMをPyTorchで試してみる． (adsbygoogle = window.adsbygoogle || []…
ICLR2019採択論文のうち，気になったものをメモしていく． その2. noconocolib.hatenablog.com Combinatorial Attacks on Binarized Neural Networks Exemplar Guided Unsupervised Image-to-Image Translation with Semantic Consistency The Unusual Effec…
ICLR2019採択論文のうち，気になったものをメモしていく． その１. noconocolib.hatenablog.com その３． noconocolib.hatenablog.com Pay Less Attention with Lightweight and Dynamic Convolutions Transferring Knowledge across Learning Processes Lar…
ICLR2019採択論文のうち，気になったものをメモしていく． その２． noconocolib.hatenablog.com Slimmable Neural Networks Deep Decoder: Concise Image Representations from Untrained Non-convolutional Networks Three Mechanisms of Weight Decay Reg…
GANsの学習フレームワークの中に明示的にラベル情報を入れるConditional GANsをPyTorchで実装してみる． Conditional Generative Adversarial Nets paper link モジュールのインポート 必要なライブラリをimportしておく ちなみにjupyter notebookの場合は f…
PyTorchを用いて分類器に対する攻撃手法であるAdversarial Attackを実装してみる． これは，分類器に対して故意に誤分類を誘発させるような画像を生成する攻撃手法である．例えば， 自動運転車に対する標識の誤検出の誘発 顔認識システムの第三者による誤認…
ECCV2018採択論文"Value-aware Quantization for Training and Inference of Neural Networks"の解説． paper link Abstract ニューラルネットワークの量子化手法であるV-Quantの提案． ネットワークの重みで用いられる値のprecisionを削減することでモデル…
ECCV2016に採択されたXNOR-Netについての解説． arxiv.org この論文は畳み込みニューラルネットワークについて，2種類の効率的な近似を提案: Binary-Weight-Networks XNOR-Networks Binary-Weight-Networksではフィルタの重みが2値で表現され，XNOR-Networks…
