當前位置:首頁 > 新聞中心 > 科研動態

科研動態

自然語言處理團隊提出一種適用于低資源和零資源的多語言機器翻譯方法

  • 发表日期:2019-06-10 【 【打印】【關閉】
  •   機器翻譯是利用計算機實現從一種自然語言到另一種自然語言自動轉換的技術。爲了實現多語言之間的相互翻譯,通常需要構建多個一對一的翻譯模型。一方面每個翻譯模型需要大規模存儲和計算資源,從而多語言翻譯的存儲和計算消耗非常巨大;另一方面多語言翻譯在獨立模型下無法實現知識共享。現有基于編碼器-解碼器的統一多語言翻譯框架雖然可以較好地解決資源占用問題,卻面臨著參數共享和語言共性未被充分利用的問題,導致目前多語言翻譯系統的譯文質量較低。因此,如何平衡翻譯知識的共享和獨立、既解決資源消耗問題同時利用語言共性提升譯文質量,成爲多語言機器翻譯的核心挑戰。針對該挑戰,华阳彩票自然語言處理團隊提出一種結構緊湊且語言敏感的多語言機器翻譯方法,提供了有效的解決思路,相關成果將發表在ACL-2019學術會議上。

      該工作主要基于編碼器和解碼器框架下的多語言機器翻譯。首先在模型表示方面,團隊提出了一種表示器模型,共享編碼器和解碼器的模型結構與參數,取代多語言翻譯框架下的編碼器和解碼器,從而顯著減少了模型參數的規模,更好地利用了語言之間的共性。同時,爲了提升模型對不同語言的區分能力,團隊提出了三種語言敏感的模塊,分別是語言敏感的詞向量,語言敏感的注意力機制以及語言敏感的判別器。 

      針對不同語言,團隊設定一個語種向量,該向量稱之爲語言敏感詞向量。如下圖最底端所示,該語種向量加到輸入的詞向量中,並在訓練過程中進行調優。下圖紅色虛線標明了語言敏感注意力機制模塊,該模塊對于不同的翻譯任務,動態的選擇不同的注意力機制。下圖最頂端是團隊新提出的語種判別器模塊,該模塊對表示器的最上層的隱式表示進行語種分類,增強在解碼過程中對不同語言的區分能力。 

      團隊分別在較大規模的WMT數據集和較小規模的IWSLT數據集(如表1所示)上進行了一到多和多到多的多語言翻譯實驗,來驗證該方法的性能。 相較于之前的多語言翻譯模型,該方法均有一定的提升,甚至在一些語言對上面超過了獨立一對一模型在雙語上訓練的模型。同時,該方法極大的壓縮了模型參數規模,其中在一到四多語言翻譯中,在僅包含20%左右的參數規模的情況下就能取得可比的翻譯性能。 

      在多種語言到多種語言的翻譯情境下,團隊對提出的方法進行了測試。該方法相較于基線系統有了顯著的提升,其中在語料不平衡的翻譯情境下,在英-越雙向翻譯任務上都取得了當前最好的性能。同時,在零資源的Zero-Shot翻譯情境下,該方法也比前人的工作有了一定程度的提高,說明該方法能夠很好的利用語言之間的共性,適用于低資源和零資源的翻譯情形。

     

      模型結構示意圖

    論文:

      Yining Wang, Long Zhou, Jiajun Zhang, Feifei Zhai, Jingfang Xu, Chengqing Zong. A Compact and Language-Sensitive Multilingual Translation Method. ACL-2019.