本日は磯島(M1)と佐々木(M1)の両名が発表を行い、またその後には内藤(M1)からGPUサーバーの使い方について解説がありました。

NLP×CNN

磯島の発表はCNNを用いた自然言語処理(NLP)についてでした。NLPというとLSTMなどの再帰型ニューラルネットワークがよく用いられるように思いますが、特に分類タスクにおいてはCNNも遜色ない結果を示すそうです。NLP特有の性質に対して適切に対処するべく、LSTMのようなoutput gateを導入する、またプーリングにおいてMaxだけではなく上位いくらかの特徴を選択するなどの工夫が紹介されました。

CNNではありませんが翻訳タスクにおけるTransformerという例もあるように、NLPにおけるDeepLearningにもまだまだ研究の余地は大きいのではないかと思います。

今後のDeep Learningについて

佐々木の発表は新しいDeepLearningの枠組みについてでした。まずハイパーパラメータの自動選択として、かつてはランダムサーチやベイジアン最適化が用いられてきたところに、遺伝的アルゴリズムの亜種のようなものを適用した論文についての紹介がありました。これはモデルの学習と同時にハイパーパラメータ等も選択や淘汰、突然変異などを用いて行うという手法になっており、学習が進んだ段階における最適なハイパーパラメータなどを求められるのではないかという可能性が示されていました。

またグラフ構造を明示的に扱うニューラルネットワークであるGraph networkも紹介され、帰納的なバイアスを学習に反映させることが可能であるとのことでした。一風変わったニューラルネットワークというのは萩原研究室でもよく扱われる研究対象であり、注目したいところです。

GPUサーバー導入記念Dockerの使い方説明

萩原研究室には来週からGPUサーバが導入されるため、そこで主に用いることとなる予定のDockerについての説明が内藤から行われました。今まで全く触ったことのない技術ですが、非常に便利そうなのでぜひともしっかりと勉強してGPUサーバーを使い倒したいところです。

[文責:迫田(B4)]