萩原先生がInternational Symposium on Affective Science and Engineering 2018で基調講演を行いました。

蓑谷彩香さんの“新聞記事の自動漫画化システムの研究”が、日本経済新聞にて紹介されました。

佐々木駿也君が、情報工学科の中西奨励賞を受賞しました。卒業論文題目：“段階的に多層化するニューラルネットワーク”

本日は磯島(M1)と佐々木(M1)の両名が発表を行い、またその後には内藤(M1)からGPUサーバーの使い方について解説がありました。

NLP×CNN

磯島の発表はCNNを用いた自然言語処理(NLP)についてでした。NLPというとLSTMなどの再帰型ニューラルネットワークがよく用いられるように思いますが、特に分類タスクにおいてはCNNも遜色ない結果を示すそうです。NLP特有の性質に対して適切に対処するべく、LSTMのようなoutput gateを導入する、またプーリングにおいてMaxだけではなく上位いくらかの特徴を選択するなどの工夫が紹介されました。

CNNではありませんが翻訳タスクにおけるTransformerという例もあるように、NLPにおけるDeepLearningにもまだまだ研究の余地は大きいのではないかと思います。

今後のDeep Learningについて

佐々木の発表は新しいDeepLearningの枠組みについてでした。まずハイパーパラメータの自動選択として、かつてはランダムサーチやベイジアン最適化が用いられてきたところに、遺伝的アルゴリズムの亜種のようなものを適用した論文についての紹介がありました。これはモデルの学習と同時にハイパーパラメータ等も選択や淘汰、突然変異などを用いて行うという手法になっており、学習が進んだ段階における最適なハイパーパラメータなどを求められるのではないかという可能性が示されていました。

またグラフ構造を明示的に扱うニューラルネットワークであるGraph networkも紹介され、帰納的なバイアスを学習に反映させることが可能であるとのことでした。一風変わったニューラルネットワークというのは萩原研究室でもよく扱われる研究対象であり、注目したいところです。

GPUサーバー導入記念Dockerの使い方説明

萩原研究室には来週からGPUサーバが導入されるため、そこで主に用いることとなる予定のDockerについての説明が内藤から行われました。今まで全く触ったことのない技術ですが、非常に便利そうなのでぜひともしっかりと勉強してGPUサーバーを使い倒したいところです。

[文責:迫田(B4)]

本日は斎藤(M1)と井上(M1)の二名が発表を行いました。

Dropoutの知見を応用した深層学習の新手法

斎藤の発表はDropoutの知見を応用した深層学習の新手法についてでした。Dropoutは深層学習でよく用いられる学習方法の一つであり、単純ながら高い性能を示してきました。これは疑似的にアンサンブル学習を行っているためだという解釈が一般的となっています。

このDropoutを逆伝播のみに適用したものがBackdrop: Stochastic Backpropagationとのことです。これはミニバッチSGDの拡張に近いものだとも考えられ、学習のランダム性をデータの選別により生んでいるという視点から統一的に眺めることができます。

またGradient Acceleration in Activation FunctionsではDropoutが確率的な活性をもたらし、勾配を上手く取れる場合を生み出す点に着目し、新しい活性化関数を提案しています。

個人的には深層学習のこうした理論的な側面は全く理解が及んでおらず、各手法が有効であるという報告を不思議な気持ちで聞いています。知見がまとまっていき納得度の高い理論が打ち出されることを期待しています。

クローリング&スクレイピングいろいろ

井上の発表は機械学習に必要なデータをWebから収集する手法についてでした。このような研究の肝ではないが効率に大きく影響する知見について共有されることは望ましいことだと思います。特に私はWeb系の技術には疎く、ほとんどクローリングなどはしたことがないため参考になりました。

[文責:迫田(B4)]

本日は上島(B4)と増田(M1)が発表を行いました。

PathNetについて

上島の発表はPathNet: Evolution Channels Gradient Descent in Super Neural Networksについてでした。これは2つのタスクを連続的に学習する際に、1つ目のタスクに対する精度を低下させないように学習させる手法の1種となります。2つ目のタスクの学習におけるCatastrophic forgettingを防ぐ方法はいくらかありますが、この論文ではアンサンブルを利用した手法を提案しています。各層のユニットそれぞれが畳み込み層であり、それらのうち部分的なものを利用してネットワークとします。タスクに応じて遺伝的アルゴリズムにより利用する部分を決定することによりCatastrophic forgettingを防ぐようです。

強化学習との組み合わせ方も提案されており非常に刺激的でした。

Sentencepieceによる日本語の分かり書き

増田の発表は日本語を分かち書きするツールについてでした。日本語の分かち書きツールはMeCabが有名ですが、低頻度語により対応するために異なるアルゴリズムによる分かち書きツールもあるようです。今回はそのうちSentencepieceというサブワードのような考え方を用いた分かち書きツールが紹介され、これは表現としてよく使われる塊を上手く抽出することができるので対話データに強いようです。一方で固有名詞には弱いという問題もあり、適用する対象に応じて使い分けることが重要となりそうです。

ニューラルネットワークを用いた自然言語処理においても分かち書きはよく使われるため、その精度というのはシステム全体の精度にも大きく関わってくるものと思います。派手ではないかもしれませんが着眼点が良く面白い内容だと思いました。

[文責:迫田(B4)]

本日は千速(B4)と酒井(B4)の2名が発表を行いました。

AIによるプログラミングの学習

千速の発表はAIによる自動プログラミングに関するDeepCoder: Learning to Write Programsという論文についてでした。これは簡単な競技プログラミングの問題を解けるように作られたものであり、ニューラルネットワークにより使用する関数を予測し探索により順番を決定するというものでした。入力と出力の関係からプログラムを推測するような形式になっており、出力がプログラムという順番のあるものなのでRNNを用いるのが自然な発想かとも思いましたが、学習が難しいそうです。

プログラムの自動生成は自然言語処理と絡めて意味論を捉えようとしなければあまり意味のある成果は出ないのではないかと思ってしまいますが、競技プログラミングのように形式がはっきり決まったものではこのような方法も有効なのかもしれません。

転移学習を用いた対話応答のスタイル制御

酒井の発表は対話システムにおいて語尾や口調などを個性的にする試みの一種であるスタイル制御についてでした。転移学習を用いて少ないデータからスタイルの部分だけを効率的に学ばせることが目標のようです。評価者やデータセットなどが十分ではないように思えるところもありますが、おおむね成功しているようで興味深いと思いました。スタイル変換は武内(M2)も近い研究を行っており、萩原研究室としても知見の多い方の分野であると感じます。

[文責:迫田(B4)]

本日は金(B4)と迫田(B4)の2名が発表を行いました。

アテンション機構を用いたゲート付きマルチモーダルセンチメント分析

金の発表は「商品や事物に対しての批評動画を入力として話者の感情を分類するタスク」への新手法についてでした。入力が動画であるので動画像、音声、また音声を書き起こしたテキストデータというマルチモーダルな入力を上手く扱うことが求められます。紹介された論文の提案手法では、入力としてある3種類のデータのうち音声ベクトルと映像ベクトルがノイズになるような状況に対応するため、まずゲートに相当するニューラルネットを学習させ不要な情報を除去するものとなっています。その後LSTMに入力データを流しこんだのちに、注意機構を用いて性能を向上させたとのことでした。最近は注意機構が各分野で多用されており、また性能向上が見られたという報告も多いため、目が離せない手法となっています。

Thinking Fast and Slow with Deep Learning and Tree Search

迫田の発表は強化学習とゲーム木探索を組み合わせる手法についてでした。この分野ではDeepMindが発表したAlphaGo,AlphaGoZeroなどが有名ですが、ほぼ同時期に行われた類似研究である本論文を紹介しました。これもまたニューラルネットワークにより方策及び状態価値関数を近似し、モンテカルロ木探索を用いてゲーム木探索を行うというものになっています。教師情報としてモンテカルロ木探索から得られる方策を直接用いることでより良い学習が行えたとのことです。

発表が行われたタイミングも数か月しか変わらず、この分野の競争の激しさがうかがえます。強化学習は大きく流行している分野ですが、中でも環境が既知であるような強化学習としてボードゲームは非常に興味深い題材であると思っています。

[文責:迫田(B4)]

Squeeze-and-Exitation Networks

NLP分野におけるAdversarial Training

Semantic Compositional Networks for Visual Captioning

PCAS: Pruning Channels with Attention Statistics