萩原研究室では毎週水・金曜日にサーベイミーティングを行っています。基本的に1回のミーティングで2名が各自サーベイしてきた内容などについて発表を行います。研究内容は各個人で実に多様であるため、幅広い知見を得るための良い機会であると感じています。

今回からサーベイミーティングで行われた発表について簡単に紹介していきます。本日は内藤(M1)、斎藤(M1)の両名が発表を行いました。

内藤の発表はSelf-Normalizing Neural Networkについてでした。これはニューラルネットワークで問題となる内部共変量シフトを低減するために提案されたものとなります。通常内部共変量シフトはバッチ正規化や重み正規化など特殊な正規化を用いて対応されますが、本手法は活性化関数と重みの初期化手法を変更するのみで実装が可能であり、固定点への収束が証明されている点、また摂動への頑強性があることが利点として挙げられていました。

発表後、山田(M2)からは「内部共変量シフトが実はそれほど問題ではないと主張している論文がある」との指摘がありました。これはHow Does Batch Normalization Help Optimization?という論文のことを指しており、バッチ正規化は内部共変量シフトの低減ではなく勾配の安定化により良い学習に寄与するということを主張しています。この辺りはいまだはっきりしたことが明らかになっていない印象があり、深層学習がまだ日の浅い技術であることを感じます。

斎藤の発表はSiamese Networkについてでした。これは全く同じ構造、パラメータのニューラルネットワークを2つ並列に用意することで、2つのデータ間の関係について学習が可能なものであるとのことです。応用先は幅広く、今回は特に特徴抽出、文書の類似度推定、Few-shotの学習、クラスタリング、生成モデルへの応用について紹介がありました。

私は最初、この構造の利点がいまひとつピンとこなかったのですが、2つのネットワークが全く同じ構造、パラメータであるため、実際の実装では同じネットワークにそれぞれデータを流すだけだと説明があり、データの利用効率が良さそうだということが腑に落ちました。普通のニューラルネットワークはそれぞれのデータについて学習するのに対して、データ間の関係に着目するのは面白い発想であり、今後流行る分野かもしれません。

[文責:迫田(B4)]