本日は上島(B4)と増田(M1)が発表を行いました。

PathNetについて

上島の発表はPathNet: Evolution Channels Gradient Descent in Super Neural Networksについてでした。これは2つのタスクを連続的に学習する際に、1つ目のタスクに対する精度を低下させないように学習させる手法の1種となります。2つ目のタスクの学習におけるCatastrophic forgettingを防ぐ方法はいくらかありますが、この論文ではアンサンブルを利用した手法を提案しています。各層のユニットそれぞれが畳み込み層であり、それらのうち部分的なものを利用してネットワークとします。タスクに応じて遺伝的アルゴリズムにより利用する部分を決定することによりCatastrophic forgettingを防ぐようです。

強化学習との組み合わせ方も提案されており非常に刺激的でした。

Sentencepieceによる日本語の分かり書き

増田の発表は日本語を分かち書きするツールについてでした。日本語の分かち書きツールはMeCabが有名ですが、低頻度語により対応するために異なるアルゴリズムによる分かち書きツールもあるようです。今回はそのうちSentencepieceというサブワードのような考え方を用いた分かち書きツールが紹介され、これは表現としてよく使われる塊を上手く抽出することができるので対話データに強いようです。一方で固有名詞には弱いという問題もあり、適用する対象に応じて使い分けることが重要となりそうです。

ニューラルネットワークを用いた自然言語処理においても分かち書きはよく使われるため、その精度というのはシステム全体の精度にも大きく関わってくるものと思います。派手ではないかもしれませんが着眼点が良く面白い内容だと思いました。

[文責:迫田(B4)]