基于语义结构不变性的机器翻译系统变形测试

《IEEE Transactions on Reliability》：Semantic Structure Invariance-Based Metamorphic Testing for Machine Translation Systems

　　针对神经机器翻译（NMT）系统因深层神经网络脆性导致的翻译错误问题，提出基于语义结构不变性的元测试方法（SSIMT），通过分析上下文相似句子的语义结构差异检测错误，实验表明SSIMT在微软必应和谷歌翻译两大系统中检测准确率超70%，覆盖多种常见错误类型。

　　

摘要：

近年来，深度神经网络被应用于机器翻译系统中，从而产生了所谓的神经机器翻译（NMT）模型，这些模型显著提高了翻译质量。然而，由于深度神经网络的脆弱性，机器翻译系统可能会返回错误的翻译结果，导致误解甚至造成严重的损失。为了检测翻译错误，人们提出了各种测试技术。其中一种广泛使用的技术是变形测试（metamorphic testing），它主要依赖于翻译的文本或语法结构，而忽略了句子的含义（即语义信息）。与文本和语法信息相比，在处理词汇丰富且词序灵活的语言时，句子的语义信息更为稳定。基于这一观察，我们提出了基于语义结构不变性的变形测试（SSIMT）方法用于机器翻译系统。其核心思想是：在上下文相似的情况下，句子的翻译结果应具有相似的语义结构。我们通过两个广泛使用的机器翻译系统——Microsoft Bing Translator和Google Translate进行了实验评估，使用了从知名新闻网站爬取的600个种子句子，涵盖了六个不同的语料库主题。实验结果表明，SSIMT能够在两个系统中以高精度（超过70%）发现数千个错误翻译。SSIMT报告的翻译错误涵盖了多种常见的错误类型。

引言

机器翻译是自然语言处理（NLP）的一个子领域[1]，它利用计算设备自动将一种语言的文本翻译成另一种语言。近年来，深度学习的快速发展推动了神经机器翻译（NMT）的进步，NMT通过端到端的学习方法直接在源语言和目标语言之间使用深度神经网络[2]。NMT已在工业领域得到广泛应用。2016年，Google Translate的日翻译量超过了1000亿词，并拥有数亿用户[3]；2021年，Google Translate在Android平台上的安装量达到了10亿次[4]。然而，NMT系统并不像用户期望的那样完美。由于神经网络的脆弱性，各种机器学习系统可能会产生次优甚至错误的输出[5]。相应地，机器翻译系统也可能返回不准确或不恰当的翻译结果，可能导致误解、经济损失、医疗事故、政治冲突，甚至对个人安全构成威胁[6]。据报道，2017年一名巴勒斯坦人在Facebook上用阿拉伯语发布了“good morning”，但该系统错误地将其翻译成希伯来语的“attacked them”，导致他被以色列警方逮捕[7]。