Syntax-based transformer for neural machine translation

C Ma, A Tamura, M Utiyama, E Sumita… - Journal of Natural …, 2020 - jstage.jst.go.jp
Abstract The Transformer (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, and
Polosukhin 2017), which purely depends on attention mechanism, has achieved state-of-the-
art performance on machine translation (MT). However, syntactic information, which has
improved many previous MT models, has not been utilized explicitly by Transformer. We
propose a syntax-based Transformer for MT, which incorporates source-side syntax
structures generated by the parser into the self-attention and positional encoding of the …

Syntax-based transformer for neural machine translation

馬春鵬 - 自然言語処理, 2021 - jstage.jst.go.jp
本稿では, 言語処理学会 2020 年度論文賞の受賞論文 「Syntax-based Transformer for Neural
Machine Translation」(Ma et al. 2020)(以下, 原論文) について解説する. Transformer
に基づくニューラル機械翻訳 (NMT) において構文情報を活用しようという着想を得たのが 2018
年だった. 当時, 著者は RNN に基づく NMT において構文森の情報を活用するための研究に
取り組んでおり, その成果をまとめた論文 (Ma et al. 2018) が ACL 2018 に採録されて一区切り
つき, その研究の延長として原論文の着想に至った. 機械翻訳において, 統計的な手法から …
Showing the best results for this search. See all results