基礎研究

萩原研究室では、会話のできるロボット頭脳を目指しています。そのためには、ニューラルネットワーク、特に深層学習(ディープラーニング)の理論、技術の基礎研究が必要不可欠です。萩原研究室では、ニューラルネットワークやファジィ理論、遺伝的アルゴリズムといったソフトコンピューティング全般の基本的な技術に関する研究を行っています。

特に現在盛んに用いられているニューラルネットワークは、人間の脳の神経回路を模したモデルとして1950年代に提案された情報処理モデルです。1980年代に誤差逆伝播法(バックプロパゲーション)という学習方法の理論が提案され、パターン認識をはじめとする、これまでのノイマン型コンピュータでは困難とされてきた「人間らしい情報処理」を行えるモデルとして一世を風靡しました。2000年代には現在人工知能の分野で大きく活躍している「深層学習」のベースとなるモデルが提案され、これをきっかけに2017年現在においても深層学習はますます盛んに研究されています。

画像情報処理や自然言語処理、感性情報処理などの多くの分野で成功を収めている深層学習ですが、どうしてうまくいくかについての理論的な解明はいまだになされていませんし、モデルを改良するためにはどうすればよいのかということもあまり分かっていません。そこで、萩原研究室では、深層学習の基礎的な部分を理論、応用の両方の面から分析しその仕組みを明確にしたり、新たな深層学習のモデルを開発するという研究も進めています。

deepNN

研究内容

RBM(制約ボルツマンマシン)を用いた連想記憶

連想記憶とは、ある事柄から別の事柄を「連想」するという人間の知識処理の最も根幹にあたる部分をモデル化したものです。

例えば、「りんご」という入力が与えられると、そこから「果物」や「バナナ」といった意味的に関連する単語を連想し、それを出力します。

この研究では、ニューラルネットワークの一手法であるRBM(Restricted Boltzmann Machine; 制約ボルツマンマシン)を使ってこの連想記憶を実現することを試みています。

さらに、この研究の応用として、人間が持つ意味の関係性をネットワークの形でモデル化しようという研究も現在行っています。

 

新しい強化学習

強化学習は、明確な教師信号が与えられないような場合に効果的な学習方式です。しかしながら非常に多い学習回数が必要という問題点があります。そこで、ニューラルネットワークによる深層学習での直観的な学習と探索アルゴリズムを用いた熟考的な探索を組み合わせることにより、学習特性を大きく向上させます。

人工知能を学ぶニューラルネットワーク

従来の人工知能には、未学習な状況には全く対応できないという大きな問題点がありました。単語をベクトル表現するword2vecという手法があります。これにより知識をベクトル表現することが可能になりました。そこでベクトル表現された知識をseq2seq型のニューラルネットワークで処理する研究を行っています。未知な単語や知識があっても、ベクトル表現されているので類似した知識を想起し、処理することが可能です。

LSTM(長短期記憶)モデルの改良

言語情報を扱うシステムとして、機械翻訳や対話システムなどがありますが、このようなシステムを構築する際、単語の前後関係(文脈)を考慮する必要があります。

このような時系列を有するデータを処理するためには、過去の情報を記憶するための機構が必要になってきます。

LSTM(Long-Short Term Memory; 長短期記憶)は、このような過去の情報を記憶し、それを考慮して知的な情報処理を行うニューラルネットワークの手法として主流となっているモデルです。

一般的によく用いられるLSTMでは、毎時刻ごとに全てのLSTMのユニットが作動するという特徴を持ちますが、

この研究では作動する周期が異なるLSTMユニットを複数設けることで、より柔軟に過去の情報を利用できるように工夫することを目指しています。

大脳新皮質の構造を模したHTMモデルの改良

ニューラルネットワークは人間の脳の神経回路を模したモデルですが、実際の人間の脳は何十層という深い層状の構造を持っていませんし、誤差逆伝播法で学習されるわけではありません。

HTM(Hierarchical Temporal Memory; 階層的時系列メモリ)は、より人間の脳、特に大脳新皮質に近い構造を持つ比較的新しいモデルです。

このモデルでは、我々が普段無意識に行っている「予測」というタスクを自然に行うことができます。

萩原研究室では、この新しいモデルを利用し機械翻訳に応用したり、より効果的な学習が行えるように改良したりする研究を行っています。

自動成長するニューラルネットワーク

これまでのニューラルネットワークは基本的にモデルの形状は固定されており、学習のさい構造が変化するということはありません。

しかし、われわれ人間は何かを学習する際、最初は単純、大雑把にある事柄を学び、そのあとで徐々に複雑で細かい事柄を学んでいきます。

このことを考慮して、学習が進むにつれて層の数を動的に増やしていき複雑な事柄を段階的に学習していくという、新たな深層学習のモデルを現在研究しています。

クラスタリングを応用した表現学習

パターン認識や物体検出といった機械学習のタスクを行う際、入力するデータをどのように表現するかによって大きく性能が変わることが知られています。

これまでの機械学習では、行うタスクに適したデータ表現を人手でいちいち選ぶ必要がありました。

そこで、表現学習という、良い性能を発揮するためのデータ表現をニューラルネットワークで自動的に学習させるという手法が近年発展してきました。

萩原研究室では、教師情報なしでデータの自動分類を行うことができる「クラスタリング」と呼ばれる手法を応用し、さまざまなタスクに汎用的に用いることができるデータの表現を学習する方法を研究しています。