でーたさいえんすって何それ食えるの?

RとかPythonとかと戯れていたい

tf-seq2seq

what’s this?

google翻訳の中身とほぼ同じやつ

research.googleblog.com

Overview - seq2seq

GitHub - google/seq2seq: A general-purpose encoder-decoder framework for Tensorflow

KeyPoints

  • 翻訳で実際に使用しているのはseq2seq
  • tf-seq2seqはseq2seqのオープンソース
    • TensorFlowで実装
    • google翻訳のモノとまったく同じではない
  • いろいろパラメータを調整して実験できる
    • Encoder/Decoderの深さ
    • attention mechanism
    • RNN cell type
    • beam size
  • カリカリにチューニングしてないが、そこまで処理は重くない
  • 翻訳精度は他手法と同等かそれ以上(BLEUで評価 newstest2015では精度トップ)

memo

ある文章から何らかの文章を生成するタスクなら、翻訳以外にも使いみちがありそう

KeyPerson

  • Eugene Brevdo
  • Melody Guan
  • Lukasz Kaiser
  • Quoc V. Le
  • Thang Luong
  • Chris Olah

Related Papers

Sequence to Sequence Learning with Neural Networks

https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf

Author

  • Ilya Sutskever
  • Oriol Vinyals
  • Quoc V. Le

Massive Exploration of Neural Machine Translation Architectures

https://arxiv.org/pdf/1703.03906.pdf

Author

  • Denny Britz
  • Anna Goldie
  • Minh-Thang Luong
  • Quoc Le ※ all from google brain

Neural Machine Translation by Jointly Learning to Align and Translate

[1409.0473] Neural Machine Translation by Jointly Learning to Align and Translate

Author

  • Dzmitry Bahdanau
  • Kyunghyun Cho
  • Yoshua Bengio