tf-seq2seq

what’s this?

google翻訳の中身とほぼ同じやつ

research.googleblog.com

Overview - seq2seq

GitHub - google/seq2seq: A general-purpose encoder-decoder framework for Tensorflow

KeyPoints

• 翻訳で実際に使用しているのはseq2seq
• tf-seq2seqはseq2seqのオープンソース版
  • TensorFlowで実装
  • google翻訳のモノとまったく同じではない
• いろいろパラメータを調整して実験できる
  • Encoder/Decoderの深さ
  • attention mechanism
  • RNN cell type
  • beam size
• カリカリにチューニングしてないが、そこまで処理は重くない
• 翻訳精度は他手法と同等かそれ以上(BLEUで評価 newstest2015では精度トップ)

memo

ある文章から何らかの文章を生成するタスクなら、翻訳以外にも使いみちがありそう

KeyPerson

• Eugene Brevdo
• Melody Guan
• Lukasz Kaiser
• Quoc V. Le
• Thang Luong
• Chris Olah

Related Papers

Sequence to Sequence Learning with Neural Networks

https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf

Author

• Ilya Sutskever
• Oriol Vinyals
• Quoc V. Le

Massive Exploration of Neural Machine Translation Architectures

https://arxiv.org/pdf/1703.03906.pdf

Author

• Denny Britz
• Anna Goldie
• Minh-Thang Luong
• Quoc Le ※ all from google brain

Neural Machine Translation by Jointly Learning to Align and Translate

[1409.0473] Neural Machine Translation by Jointly Learning to Align and Translate

Author

• Dzmitry Bahdanau
• Kyunghyun Cho
• Yoshua Bengio