本日は米倉(M2)が発表を行いました。

Poincare空間でのAttentionモデル

米倉の発表はAttentionモデルにPoincare空間への埋め込みを適用するという論文についてでした。Poincare空間への埋め込みは階層構造を表現しやすいという利点があり、これをTransformerのモデルに適用することで僅かながら性能が改善されたとのことです。埋め込みのやり方も単純な形ではなく、Attentionの仕組みの中において適切に行うような構造になっており、一読した程度ではなかなか理解の及ぶものではありませんでした。階層構造が適切に表現できたとしてそれが翻訳タスクに対してどれだけ効果的なのか門外漢の自分にはわかりませんが、グラフを扱うようなタスクに対して有効かもしれないというのは面白い点だと思います。双曲空間についてはほとんど学んだことがないため、この論文についてしっかり理解しようとしたら幅広い勉強が必要となりそうです。

[文責:迫田(B4)]