本日は金田(M2)と山本(D3)の2名が発表を行いました。

金田の発表はILSVRC2017という画像認識の分野で有名なコンテス手において最高精度を記録したネットワークの論文についてでした。これは既存のネットワークに改良を加えた形のものであり、畳み込み後にチャンネル間の相関を考えてチャンネルレベルでの重みづけを行うというようなものになります。

具体的には、まず畳み込みで得られたH×W×Cの特徴量を、各チャンネルごとに平均値を取ることで1×1×Cに変形します。そしてこのベクトルをAutoEncoderのような形で一度次元削減してから復元することにより、各チャンネルの相互依存関係を考慮した重みを生成します。最終的にこの重みを各チャンネルの特徴量に掛け合わせることで、重要なチャンネルに重みづけされた特徴量が得られることを期待します。

こうした特徴量をより良いものに改良するという工夫は、層を増やすような改良に比べて比較的計算時間もかからないような改良になることが多いと思われます。計算資源では大企業にかなわない一研究室としてはこのような方針を目指すべきなのかもしれません。

山本の発表はAdversarial Trainingについてでした。機械学習において学習済みモデルが正しく分類できるデータに対して、微小なノイズを加えることで誤判断するようになる場合があります。このようなデータをAdversarial Exampleと言い、Adversarial Exampleを用いた学習をAdversarial Trainingと言います。GANとは違い、モデル自体には特に手を加えていないことが特徴となります。

このAdversarial TrainingはNLPの分野にも応用されており、分散表現にノイズを加える形や単語に誤字を加える形で行われているようです。

Adversarial Trainingはデータ拡張の一種とも見なすことができ、この分野の発展も期待されます。

[文責:迫田(B4)]