ChatGPT的火已经蔓延全球,似乎就在那么一瞬间,点燃了各行各业对其技术应用的探讨与展望。大家都想基于自己的行业属性在ChatGPT上做加法,甚至乘法。对于机器翻译而言,自然也不例外。
在LanMT技术团队紧锣密鼓的筹备下,LanMT文档翻译上线了与ChatGPT翻译质量对比,可以让大家更便捷体验ChatGPT的翻译效果,感受新技术的魅力。
ChatGPT的机翻效果与主流商业机器翻译相比如何?
目前为止,已知ChatGPT做得不错的工作有:撰写文案、编写脚本、论文写作、小说创作、代码编程、分析报告、排查系统Bug……ChatGPT各类技能点拉满,实打实的“六边形战士”。而这也是其为何能如此惊艳世人的重要原因之一—十项全能型选手。
ChatGPT能力这么强,那它做翻译的水平怎样呢?对比传统的商业机器翻译系统(如Google、DeepL以及我们语言桥自研的LanMT)来说,孰优孰劣?
首先我们找到了来自腾讯翻译团队的定量测评结果,他们使用机器翻译领域常用的测试集,使用BLEU、TER等自动化评测指标对Google、DeepL与ChatGPT的翻译结果进行了定量的评测。总体结论是Google、Deepl等商业机翻系统在各种自动评测指标上还是优于ChatGPT。
与此同时,我们内部也邀请了一些比较有经验的译员,通过体验和对比ChatGPT和我们内部使用的LanMT的机翻效果,也得出了一些主观的结论。中英,对比的机翻ChatGPT、Deepl和LanMT。从整体人工评测的结果来看:
中译英:Deepl>LanMT>合格水平>ChatGPT
英译中:LanMT>Deepl>合格水平>ChatGPT
LanMT文本翻译与ChatGPT翻译质量对比
当然,ChatGPT和商业机器翻译还是存在一定差异,由于ChatGPT是一个对话模型,为了保证生成答案的多样性,每次结果是从模型中“随机采样(Sample)”出来的,而商业的机器翻译引擎大多是通过“束搜索(beam search)”解码出来的,是模型的最优解。但不得不承认ChatGPT仅通过多任务学习,以及有限的翻译任务监督信号达到了这个效果,总体还是不错的。
对于译员来说,有哪些机会?
通过上面的讨论和分析ChatGPT的机器翻译效果在准确度、忠实度方面甚至没有达到常用的商用机器翻译系统的水准,并没有对翻译和普通机翻产生更进一步的颠覆,还是需要人来做质量管理,对最终的译文结果进行编辑和校对。
对于译员来说,在这样一个人工智能的时代,就机器翻译、ChatGPT这种产品的出现,不应该因为畏惧而排斥使用它们,而是应该拥抱它们,了解它们,使得它们成为提升自己工作效率的有利工具。
同时,作为深耕机翻领域的LanMT,也在不断更新与突破,LanMT将在下个版本上线AI译文润色功能,敬请期待!
(来源：新视线)
