月刊電通報7月号、記事のタイトルは“「人工知能」は「人工情脳」でありたい”です。

2018年3月、田中翔也君（修士２年）がニューラルネットワークを用いた画像変換の研究で、IEEE Japan Chapter Young Researcher Awardを受賞しました。

三上佳孝君が日本知能情報ファジィ学会から論文賞を受賞しました。対象論文： 三上佳孝，萩原将文 “対話における文脈を考慮した分散表現生成ニューラルネットワーク”，日本知能情報ファジィ学会誌,2017.

2018年9月、博士課程在学中の山本眞大君が博士号を取得しました。

萩原先生がInternational Symposium on Affective Science and Engineering 2018で基調講演を行いました。

蓑谷彩香さんの“新聞記事の自動漫画化システムの研究”が、日本経済新聞にて紹介されました。

佐々木駿也君が、情報工学科の中西奨励賞を受賞しました。卒業論文題目：“段階的に多層化するニューラルネットワーク”

本日は磯島(M1)と佐々木(M1)の両名が発表を行い、またその後には内藤(M1)からGPUサーバーの使い方について解説がありました。

NLP×CNN

磯島の発表はCNNを用いた自然言語処理(NLP)についてでした。NLPというとLSTMなどの再帰型ニューラルネットワークがよく用いられるように思いますが、特に分類タスクにおいてはCNNも遜色ない結果を示すそうです。NLP特有の性質に対して適切に対処するべく、LSTMのようなoutput gateを導入する、またプーリングにおいてMaxだけではなく上位いくらかの特徴を選択するなどの工夫が紹介されました。

CNNではありませんが翻訳タスクにおけるTransformerという例もあるように、NLPにおけるDeepLearningにもまだまだ研究の余地は大きいのではないかと思います。

今後のDeep Learningについて

佐々木の発表は新しいDeepLearningの枠組みについてでした。まずハイパーパラメータの自動選択として、かつてはランダムサーチやベイジアン最適化が用いられてきたところに、遺伝的アルゴリズムの亜種のようなものを適用した論文についての紹介がありました。これはモデルの学習と同時にハイパーパラメータ等も選択や淘汰、突然変異などを用いて行うという手法になっており、学習が進んだ段階における最適なハイパーパラメータなどを求められるのではないかという可能性が示されていました。

またグラフ構造を明示的に扱うニューラルネットワークであるGraph networkも紹介され、帰納的なバイアスを学習に反映させることが可能であるとのことでした。一風変わったニューラルネットワークというのは萩原研究室でもよく扱われる研究対象であり、注目したいところです。

GPUサーバー導入記念Dockerの使い方説明

萩原研究室には来週からGPUサーバが導入されるため、そこで主に用いることとなる予定のDockerについての説明が内藤から行われました。今まで全く触ったことのない技術ですが、非常に便利そうなのでぜひともしっかりと勉強してGPUサーバーを使い倒したいところです。

[文責:迫田(B4)]

本日は斎藤(M1)と井上(M1)の二名が発表を行いました。

Dropoutの知見を応用した深層学習の新手法

斎藤の発表はDropoutの知見を応用した深層学習の新手法についてでした。Dropoutは深層学習でよく用いられる学習方法の一つであり、単純ながら高い性能を示してきました。これは疑似的にアンサンブル学習を行っているためだという解釈が一般的となっています。

このDropoutを逆伝播のみに適用したものがBackdrop: Stochastic Backpropagationとのことです。これはミニバッチSGDの拡張に近いものだとも考えられ、学習のランダム性をデータの選別により生んでいるという視点から統一的に眺めることができます。

またGradient Acceleration in Activation FunctionsではDropoutが確率的な活性をもたらし、勾配を上手く取れる場合を生み出す点に着目し、新しい活性化関数を提案しています。

個人的には深層学習のこうした理論的な側面は全く理解が及んでおらず、各手法が有効であるという報告を不思議な気持ちで聞いています。知見がまとまっていき納得度の高い理論が打ち出されることを期待しています。

クローリング&スクレイピングいろいろ

井上の発表は機械学習に必要なデータをWebから収集する手法についてでした。このような研究の肝ではないが効率に大きく影響する知見について共有されることは望ましいことだと思います。特に私はWeb系の技術には疎く、ほとんどクローリングなどはしたことがないため参考になりました。

[文責:迫田(B4)]

本日は上島(B4)と増田(M1)が発表を行いました。

PathNetについて

上島の発表はPathNet: Evolution Channels Gradient Descent in Super Neural Networksについてでした。これは2つのタスクを連続的に学習する際に、1つ目のタスクに対する精度を低下させないように学習させる手法の1種となります。2つ目のタスクの学習におけるCatastrophic forgettingを防ぐ方法はいくらかありますが、この論文ではアンサンブルを利用した手法を提案しています。各層のユニットそれぞれが畳み込み層であり、それらのうち部分的なものを利用してネットワークとします。タスクに応じて遺伝的アルゴリズムにより利用する部分を決定することによりCatastrophic forgettingを防ぐようです。

強化学習との組み合わせ方も提案されており非常に刺激的でした。

Sentencepieceによる日本語の分かり書き

増田の発表は日本語を分かち書きするツールについてでした。日本語の分かち書きツールはMeCabが有名ですが、低頻度語により対応するために異なるアルゴリズムによる分かち書きツールもあるようです。今回はそのうちSentencepieceというサブワードのような考え方を用いた分かち書きツールが紹介され、これは表現としてよく使われる塊を上手く抽出することができるので対話データに強いようです。一方で固有名詞には弱いという問題もあり、適用する対象に応じて使い分けることが重要となりそうです。

ニューラルネットワークを用いた自然言語処理においても分かち書きはよく使われるため、その精度というのはシステム全体の精度にも大きく関わってくるものと思います。派手ではないかもしれませんが着眼点が良く面白い内容だと思いました。

[文責:迫田(B4)]