ニュース – ページ 3

サーベイミーティング0615

Jun 15,2018 コメントを受け付けていません

本日は米倉(M2)が発表を行いました。

Poincare空間でのAttentionモデル

米倉の発表はAttentionモデルにPoincare空間への埋め込みを適用するという論文についてでした。Poincare空間への埋め込みは階層構造を表現しやすいという利点があり、これをTransformerのモデルに適用することで僅かながら性能が改善されたとのことです。埋め込みのやり方も単純な形ではなく、Attentionの仕組みの中において適切に行うような構造になっており、一読した程度ではなかなか理解の及ぶものではありませんでした。階層構造が適切に表現できたとしてそれが翻訳タスクに対してどれだけ効果的なのか門外漢の自分にはわかりませんが、グラフを扱うようなタスクに対して有効かもしれないというのは面白い点だと思います。双曲空間についてはほとんど学んだことがないため、この論文についてしっかり理解しようとしたら幅広い勉強が必要となりそうです。

[文責:迫田(B4)]

サーベイミーティング0613

Jun 13,2018 コメントを受け付けていません

本日は武内(M2)と佐川(M2)の両名が発表を行いました。

Unsupervised Learning of Style sensitive Word Vectors

　武内の発表は、教師なしで文体(個人的な印象だと”口調”？)に注目した単語ベクトルを学習する論文についてでした。これはWord2Vecにおいて、ある単語を近傍の単語から予測すると得られる表現は意味に近いものであり、遠い単語から予測すると得られる表現は文体(口調)に近いものになるということだと理解しました。口調というのは文全体で共通するものであり、一方で意味は近傍のみに効くということなのだと考えると納得できるような気もします。

　実験結果からは近傍、全体、遠い領域からの予想によって奇麗に意味の精度は単調減少、口調の精度は単調増加していることが見て取れる点が面白いと思いました。

　基本がWord2Vecのモデルなので教師なしで学習できているという点も大きく、応用範囲も広そうです。

Graph Convolutionとその使用例

　佐川の発表はGraph Convolutionについてでした。これはニューラルネットワークにグラフを入力として与える手法であり、化学・生物学分野で特に流行しているとのことです。今回はその中でも画像生成に応用した例が紹介されました。これはグラフを入力としてGraph Convolutionを行い、レイアウト予測と画像生成を行うというものになります。基本的に今までは単一物体の画像生成のみが可能であったのに対して、これによって複数物体が関係を持っている画像を生成できるようになるとのことです。

　これだけのことがend-to-endで成されるというのが驚きです。私はGraph Convolutionという概念を知ったのも今日が初めてであり、グラフの構造をニューラルネットワークが扱えるように上手く計算対象を考える点が面白いと思いました。グラフ構造はとても便利であり、知識グラフのようなものまで扱えることを考えると、Graph Convolutionの手法は重要であると感じます。

[文責:迫田(B4)]

サーベイミーティング0608

Jun 8,2018 コメントを受け付けていません

本日は井上(M1)と和田(M2)が発表を行いました。

Neural Joking Machine

井上の発表はNeural Joking Machineについてでした。これはデータセットとして「ボケて（bokete）」から画像と(面白い)キャプションの対を収集し、それを用いてキャプション生成を行うというものです。ニューラルネットワークのアーキテクチャはほぼ既存のものを使用しており、学習させるデータだけが異なるという状況でも明らかに性能の差が出るそうです。

着眼点が変わっていて面白い研究だといえますが、一方で教師データの重要性を物語る結果ともなっており、良い知見を含むものだとも感じます。

表記揺れ検出への挑戦

和田の発表は独自に実装したものについてでした。基本的には「Encoder-Decoderでレシピの材料名を正規化する」といったクックパッド開発者ブログを下敷きにしたものであり、文字ベースのLSTMを用いたseq2seqによって表記揺れを解消しようとするものとなります。

和田の実験では辞書などから得られたひらがなと漢字表現のペア(「みつけだす」と「見つけ出す」)などを大量に用意し学習させていましたが、ペア間で出力が変わってしまったり、同じものが出力されても違う言葉になっていたりと、なかなか一筋縄ではいかないようでした。

簡単な表記揺れならば形態素解析などを行う方が良い精度が出ると考えられるため、seq2seqはより複雑な表記揺れに対する性能が良くなってほしいところであり、そのためにはもう一つ、二つ大きな工夫が必要そうかなと感じました。

[文責:迫田(B4)]

サーベイミーティング0606

Jun 6,2018 コメントを受け付けていません

萩原研究室では毎週水・金曜日にサーベイミーティングを行っています。基本的に1回のミーティングで2名が各自サーベイしてきた内容などについて発表を行います。研究内容は各個人で実に多様であるため、幅広い知見を得るための良い機会であると感じています。

今回からサーベイミーティングで行われた発表について簡単に紹介していきます。本日は内藤(M1)、斎藤(M1)の両名が発表を行いました。

Self-Normalizing Neural Network

内藤の発表はSelf-Normalizing Neural Networkについてでした。これはニューラルネットワークで問題となる内部共変量シフトを低減するために提案されたものとなります。通常内部共変量シフトはバッチ正規化や重み正規化など特殊な正規化を用いて対応されますが、本手法は活性化関数と重みの初期化手法を変更するのみで実装が可能であり、固定点への収束が証明されている点、また摂動への頑強性があることが利点として挙げられていました。

発表後、山田(M2)からは「内部共変量シフトが実はそれほど問題ではないと主張している論文がある」との指摘がありました。これはHow Does Batch Normalization Help Optimization?という論文のことを指しており、バッチ正規化は内部共変量シフトの低減ではなく勾配の安定化により良い学習に寄与するということを主張しています。この辺りはいまだはっきりしたことが明らかになっていない印象があり、深層学習がまだ日の浅い技術であることを感じます。

Siamese Networksと近年の深層学習への応用例

斎藤の発表はSiamese Networkについてでした。これは全く同じ構造、パラメータのニューラルネットワークを2つ並列に用意することで、2つのデータ間の関係について学習が可能なものであるとのことです。応用先は幅広く、今回は特に特徴抽出、文書の類似度推定、Few-shotの学習、クラスタリング、生成モデルへの応用について紹介がありました。

私は最初、この構造の利点がいまひとつピンとこなかったのですが、2つのネットワークが全く同じ構造、パラメータであるため、実際の実装では同じネットワークにそれぞれデータを流すだけだと説明があり、データの利用効率が良さそうだということが腑に落ちました。普通のニューラルネットワークはそれぞれのデータについて学習するのに対して、データ間の関係に着目するのは面白い発想であり、今後流行る分野かもしれません。

[文責:迫田(B4)]