サーベイミーティング0711

本日は斎藤(M1)と井上(M1)の二名が発表を行いました。

Dropoutの知見を応用した深層学習の新手法

斎藤の発表はDropoutの知見を応用した深層学習の新手法についてでした。Dropoutは深層学習でよく用いられる学習方法の一つであり、単純ながら高い性能を示してきました。これは疑似的にアンサンブル学習を行っているためだという解釈が一般的となっています。

このDropoutを逆伝播のみに適用したものがBackdrop: Stochastic Backpropagationとのことです。これはミニバッチSGDの拡張に近いものだとも考えられ、学習のランダム性をデータの選別により生んでいるという視点から統一的に眺めることができます。

またGradient Acceleration in Activation FunctionsではDropoutが確率的な活性をもたらし、勾配を上手く取れる場合を生み出す点に着目し、新しい活性化関数を提案しています。

個人的には深層学習のこうした理論的な側面は全く理解が及んでおらず、各手法が有効であるという報告を不思議な気持ちで聞いています。知見がまとまっていき納得度の高い理論が打ち出されることを期待しています。

クローリング&スクレイピングいろいろ

井上の発表は機械学習に必要なデータをWebから収集する手法についてでした。このような研究の肝ではないが効率に大きく影響する知見について共有されることは望ましいことだと思います。特に私はWeb系の技術には疎く、ほとんどクローリングなどはしたことがないため参考になりました。

[文責:迫田(B4)]