语料ubuntu12.04

优先出版计算机应用研究第33卷基金项目:中国科学院先导科技专项资助项目(XDA06030400);新疆维吾尔自治区青年自然科学基金资助项目(2015211B034);新疆维吾尔自治区重点实验室开放课题项目(2015KL031).
作者简介:孔金英(1988-),男,湖北武穴人,博士研究生,主要研究方向为自然语言处理、机器翻译(konguestc@163.
com);杨雅婷(1985-),女,新疆奇台人,副研究员,博士,主要研究方向为自然语言处理、多语种信息处理;王磊1974-),男,研究员,博士,主要研究方向为多语种信息处理、自然语言处理;李晓(1957-),男,新疆乌鲁木齐人,研究员,硕士,主要研究方向为多语种信息处理、自然语言处理.
面向维汉机器翻译的语料筛选技术研究*孔金英1,2,3,杨雅婷1,2,3,王磊1,2,3,李晓1,2,3(1.
中国科学院新疆理化技术研究所,乌鲁木齐830011;2.
新疆民族语音语言信息处理重点实验室,乌鲁木齐830011;3.
中国科学院大学,北京100049)摘要:统计机器翻译是近十年来的主流机器翻译技术,其在维汉机器翻译中良好的性能已经得到了广泛的认可.
维汉统计机器翻译的最终翻译性能同样是受这几方面的影响:翻译模型、语言模型、语料质量和规模等.
旨在通过对维汉双语训练语料的筛选来提高最终的机器翻译性能.
在相关学者的研究基础上,提出了改进的IBM1模型评价句对齐质量、双语语言模型困惑度进行语料筛选和多种筛选指标综合求交集的方法.
这些方法没有语言特性的依赖,支持维汉双语语料的筛选.
通过实验可证明,使用这些方法筛选而来的语料训练出的维汉翻译模型的性能更优.
关键词:维汉机器翻译;语料筛选;语言模型中图分类号:TP391.
1ResearchincorpusfilteringtechniqueforUyghur-ChinesemachinetranslationKongJinying1,2,3,YangYating1,2,3,WangLei1,2,3,LiXiao1,2,3(1.
XinjiangTechnicalInstituteofPhysics&Chemistry,ChineseAcademicofScience,Urumqi830011,China;2.
XinjiangLaboratoryofMinoritySpeech&LanguageInformationProcessing,Urumqi830011,3.
UniversityofChineseAcademyofSciences,Beijing100049,China)Abstract:Statisticalmachinetranslationisthemaintechniqueofmachinetranslationinrecenttenyears,itsgoodperformanceinUyghur-Chinesemachinetranslationareahasbeenwidelyaccepted.
ThefactorsaffectingUyghur-ChineseMTeventuallyperformancestillarethese:translationmodel,languagemodel,thequalityandscaleofcorpusandsoon.
ThispaperaimstoimprovetheperformanceofUyghur-ChineseSMTsystembyfilteringtheUyghur-Chinesetrainingcorpus.
Onthebasisofrelevantscholars'research,thispaperproposesmodifiedIBM1modeltoevaluatethequalityofsentencealignment,bilinguallanguagemodelperplexitytofiltercorpusandgettingintersectionwithmultifilteringindexes.
Thesemethodsareindependentonlanguagefeatures,soitsupportUyghur-Chinesecorpusfilteringwell.
Accordingtotheexperimentalresults,wecanconcludethatUyghur-ChineseSMTsystemcanachievebetterperformancebyusingthesemethods.
KeyWords:Uyghur-Chinesemachinetranslation;corpusfiltering;languagemodel0引言维吾尔语是维吾尔族的母语,在我国的使用人数已经超过了一千万.
随着国家一带一路政策的深入,维吾尔语和汉语之间的机器翻译近年来也逐渐成为了一个热点问题.
在众多研究者们的共同努力下,维汉统计机器翻译的准确率一直在不断攀升.
值得注意的是,作为目前主流的机器翻译方法,统计机器翻译的一个很大特点就是对大规模语料及其质量的依赖性.
这是阻碍目前维汉统计机器翻译性能提升的一个明显的瓶颈[1].
而新疆属于经济发展较为落后的地区,获得维汉双语平行语料本身就是一件较为困难的事情.
此外,又由于多数平行语料中包含着噪音和错误.
因此高质量的维汉双语平行语料更是一种稀缺资源.
Och[2]等人的工作表明高质量、大规模的语料能显著的帮助我们提高机器翻译的正确率,所以从大量的维汉双语语料中筛选出高质量的语料是很一项很有意义的工作.
如图1所示是一个维吾尔语句子的两种汉语翻译.
首先,我们从直观上会觉得两个汉语翻译都很流畅,这体现的是这两个句子在语言模型方面的得分差异很小.
但当深入考察两个句子对齐情况的时候,我们发现在上面的句对中的汉语词"工作"在维语句子里面没有对应的维语单词对齐,而且维语单词在汉语句子里面也没有对应的汉语单词对齐.
相比较而言,下面的句对明显对齐的更为工整(是完全对齐).
因为下面的句对在机器翻译中的词对齐结果更加准确,所以在有对比的情况下,下面句对的总体性是要优于上面句对的.
总的来说,我们进行优先出版计算机应用研究第33卷语料筛选工作就是在语料中寻找互译性高的句对.
而互译性强的句对的衡量标准通常有词对齐结果好、句子通顺等等.
本文围绕维汉统计机器翻译中语料筛选所出现的问题提出了相关的解决方法.
在第二部分,本文阐述了机器翻译中语料筛选方面的一些相关研究工作进展.
第三部分,本文详细描述了三种基于维汉双语的语料筛选方法.
第四部分是本文的实验及结果分析,最后一节结束语是本文的总结以及未来的工作计划.
图1一个句对齐的实例1相关工作机器翻译的语料筛选是从原始平行语料中选择出质量比较好的、适合进行机器翻译训练的语料.
有别于单纯的挑选无噪音的语料,本文挑选的语料是专门针对机器翻译的.
目前,维汉双语语料筛选技术还不够成熟,没有成型的技术进行参考,大部分从事维汉机器翻译研究的科技工作者都是以过往的经验来进行语料筛选.
这相比较英汉等比较热门的双语语料筛选研究,还是比较滞后的.
不过,我们还是有不少相关的工作可以借鉴和参考.
比如厦门大学的陈毅东[3]通过排序模型对"语言模型"、"句子长度"、"互译信息"、"词对齐率"等指标进行整合,然后用这个模型进行语料筛选.
他的工作是初探性的,给了我们很大的启发,但是他考虑的指标较多而且庞杂,对各个指标的权重的划定还在依靠经验主义,更重要的是在最后的实验阶段他的文章没有设置整体基准实验,从而缺少说服力.
还有东北大学的姚树杰[4],他使用了一种对数线性模型对"语言模型"、"句对翻译质量"、"翻译模型"等指标进行了整合,这和陈毅东的工作大同小异.
不过他用双语词典进行了句对质量的评价,而且后面加入了对语料整体覆盖度的考察.
但他的工作对双语词典的要求较高,另外各个指标中的权重选择同样也是基于经验的,且实验结果中对机器翻译性能的提升不是很明显.
苏州大学的王星[5]则通过少量高质量句对训练最大熵分类器,然后用该分类器来对语料进行正例和负例的筛选.
他的方法具有很好创新性,但是选取高质量句对的前期工作却又回到了之前的语料筛选问题.
另外,中科院计算所的吕雅娟[6]就机器翻译语料的跨领域脆弱性提出了信息检索的方法,通过测试集对训练集进行相关的召回而形成新的训练集.
而这种方法的最大弊端在于测试集必须是已知的.
参考和借鉴相关学者的研究工作,以及维汉统计机器翻译自身的特性,本文提出了三种无语言依赖性的语料筛选方法:基于改进的IBM1模型句对齐评价、基于双语语言困惑度的筛选方法以及综合筛选方法.
其中,我们用改进的IBM1模型生成词对齐表作为双语词典用以衡量句对互译准确程度,从而进行句对质量评价.
这个方法解决了维汉双语词典匮乏的问题.
另外,双语语言困惑度进行语料筛选方法是出于对语言流畅度的考虑.
最后,我们将前面两种方法综合起来,得到了多种筛选指标综合求交集的方法,这种方法有着较好的鲁棒性.
2语料筛选方法2.
1基于改进的IBM1模型句对齐评价IBM的五个模型[7]奠定了统计机器翻译的理论基础,给统计机器翻译带来了前所未有的活力.
基于IBM1-5模型实现的词对齐模块是现在统计机器翻译中主流技术中重要的一环.
作为词对齐模型,IBM1模型是IBM2-5的前提步骤.
本文对IBM1模型进行修改,使用改进的IBM1模型进行句对互译性的衡量.
通过对各个句对进行互译性评价,我们可以筛选得到互译性高的句对.
接下来本节将详细阐述这一部分的工作.
IBM1模型的训练过程主要是进行EM(期望最大化)迭代,其算法的大体流程是这样的[8]:首先初始化概率分布,假设为均匀分布;然后统计每个输出的单词e被对齐到某个特定输入单词f的次数,句对中每共现一次,就把概率加到计数中;最后我们归一化计数,就能估计出新的概率分布.
循环这个过程,直到概率收敛.
本文对IBM1的整个EM过程,做了一些修改使其更适合句对评价.
a)利用最初的均匀分布概率,计算出各个句对的形成概率.
其中公式1中是源语言的长度,是目标语言的长度,为句子形成的概率,其还可以通过另一种形式得到.
式(2)中a指的是句对的一种词对齐情况.
(1)(2)b)结合式(1)(2)以及概率论中的链式法则式(3),可以得到式(4).
其中是对齐函数,它的值等于源句子单词j在目标句子中对齐单词的下标.
式(4)所得到的是一种对齐情况概率,也形象称其为一个对齐碎片.
有别于一般的IBM1模型,为了加快整体的训练速度,减小对齐表表,本文只将出现了两次及以上的单词加入到词汇表中进行训练.
优先出版计算机应用研究第33卷(3)(4)c)需要对所有情况的词语对齐方式进行累加计数.
称这一步叫做碎片累加.
和一般的IBM1模型不同的是,本文定义的对齐碎片的概率是必须大于等于最初分配的均分分布的概率.
式(5)就是进行这一步骤的具体数学根据.
为克罗内克函数,当x=y时为1,否则为0.
(5)d)在进行了碎片累加步骤后,将利用各个碎片对每个词对齐概率进行重新分配.
式(6)可以指导估计新的翻译概率分布.
(6)以上是一个完整的EM过程,1-2步可以看作EM算法中的E步骤,而2-4步则属于M步骤.
接下来,可以用新的翻译概率分布去重新执行以上1-4步骤,这样就可以循环迭代下去.
一般的IBM1算法此时会一直迭代,直到收敛.
因为这里我们的主要任务是进行句对评价,所以为了提高工作效率,对整个EM算法的迭代次数是进行4次.
图2是整个改进的IBM1模型的流程图.
通过此改进的IBM1模型,能够得到一个用于词对齐评价的"双语词典".
最后,依次扫描句对,按照此"双语词典"上各个词对的概率以及句对的长度,如公式7所示,对句对进行评价打分.
其中,表示源语言中所有能在对应目标语言端找到译词的词总数,表示句子的长度.
需要注意的是,本文设置了一个阈值.
删除低于此阈值分数的句对后,我们即可得到通过IBM1对齐评价筛选出来的语料.
(7)图2改进的IBM1算法2.
2基于双语语言模型困惑度的筛选方法语言模型(languagemodel)是统计机器翻译系统中必不可少的基本模块,其作用是保证输出句子的流畅性.
因为其可以评价句子中单词序列出现的合理性,我们可以用语言模型进行句对流畅度的评价.
哈工大的梁华参[9]曾提出用语言模型困惑度来过滤语料,并且证实了这是一种行之有效的办法.
本文延续了梁华参的工作,尝试用另外一种双语语言模型困惑度求交集的方法进行语料筛选.
语言模型一般指的ngram模型,ngram模型的数学定义如公式8所示,公式8中是一个句子形成的概率.
(8)困惑度pp本身是衡量一个语言模型优劣与否的基本准则,是建立在交叉熵的基础上的.
不过,如果用相同的语言模型对不同的句子进行困惑度打分,这样就可以衡量各个句子的流畅度.
交叉熵的数学定义如公式9所示,困惑度的数学定义如公式10所示.
:(9)(10)基于双语语言模型困惑度的语料筛选方法的具体流程如算法1所示.
算法1基于双语语言困惑度的语料筛选输入:候选平行语料D={(S1,T1),(S2,T2),…},设定的排序阀值输出:小规模的训练语料D1Step1使用源语言语言模型对句对中的源语言进行困惑度打分,然后按困惑度由小到大的顺利对语料进行句对序号排序,得到句对号序列U1Step2使用目标语言语言模型对句对中的目标语言进行困惑度打分,然后按困惑度由小到大的顺利对语料进行句对序号排序,得到句对号序列U2Step3根据初始设定的在U1上循环Forifrom1ton(i表示句对序号),每读入一个序号i,在U2里面寻找匹配序号,如果U2里面有此序号,则将i写入到U3里面,直到写入了个序号.
Step4循环扫描U3和语料D,按照U3中的句对序号,将相应的句对写入D1.
0.
1综合筛选方法综合筛选方法就是对基于改进的IBM1模型句对齐评价方法和基于双语语言模型困惑度筛选方法进行整合,如图3所示是这种方法的大致流程.
我们先利用源语言模型筛选的方法得到排序的句对号序列1.
类似的,我们再利用目标语言模型筛优先出版计算机应用研究第33卷选的方法得到排序的句对号序列2.
接下来,我们用IBM1模型筛选出一部分子集,并遍历原始语料获得这部分子集的句对号序列3.
于是,我们先根据用户的输入,截取出句对序号1和句对序号2的前N交集,得到句对序号4.
接着,我们再从句对序号4和句对序号3中求取交集,得到最终的句对序号5.
根据句对序号5,我们对照原始语料就可以重新写入筛选好的语料.
图3综合筛选流程图3实验3.
1实验设置本文使用的是CWMT2013评测中的一组公开的维汉双语新闻领域的语料作为我们的实验对象.
由于筛选的语料是用于机器翻译的,所以本文将语料分为训练集、测试集和开发集.
数据样本的情况如表1所示.
表1维汉双语实验结果类别训练集开发集测试集一测试集二句对数47,5381,0001,0001,000关于实验平台,本文使用的是MOSES2.
11,操作系统是ubuntu12.
04.
本文使用GIZA++2工具包对训练数据进行词语的双向对齐,然后采用"grow-diag-final-and"策略获得多对多的词语对齐.
本文的短语抽取限制的长度是7,采用的调序模型是msd-bidirectional-fe.
在调参过程,本文使用的是最小错误训练方法[10]优化模型的参数.
最后,本文采用了对大小写不敏感的BLEU-4[11]作为评测的指标.
另外,本文使用SRILM3工具对整个训练集里的汉语语料进行五元语言模型的训练,并用Kneser-Ney平滑估计参数.
为了更清楚的对比各个方法的优劣,本文设置了四组实验进行对照.
分别是:1.
http://www.
statmt.
org/moses/2.
http://www.
statmt.
org/moses/giza/GIZA++.
html3.
http://www.
speech.
sri.
com/projects/srilm/Baseline:使用不做任何处理的训练集语料作为训练集,用短语模型[12]训练翻译模型,然后用开发集进行调参训练,最后在测试集一和测试集二上进行测试.
IBM1:使用IBM1对齐评价在原始训练集上筛选出来的语料作为训练集,用短语模型训练翻译模型,然后用开发集进行调参训练,最后在测试集一和测试集二上进行测试.
LM:使用双语语言模型困惑度在原始训练集上筛选出来的语料作为训练集,用短语模型训练翻译模型,然后用开发集进行调参训练,最后在测试集一和测试集二上进行测试.
ALL:使用综合筛选方法在原始训练集上筛选出来的语料作为训练集,用短语模型训练翻译模型,然后用开发集进行调参训练,最后在测试集一和测试集二上进行测试.
3.
2实验结果及分析经过以上实验,得到如表2所示的实验结果.
通过表2可以清晰地观察到各组实验在开发集和测试集上的评测结果.
总的来说,三种方法都可以改善机器翻译最后的结果.
表2维汉机器翻译实验结果组别NUMDEVTEST1TEST2AVG模型大小(MB)baseline47,53826.
7025.
5726.
4326.
28661.
5IBM146,77926.
7025.
8526.
9626.
62649.
0LM44,56528.
7024.
3027.
9027.
20620.
046,54726.
7025.
7626.
6326.
43648.
6ALL45,79326.
7025.
8326.
2426.
25635.
946,58026.
8026.
0626.
8626.
64647.
0IBM1组的实验,筛选得到了46779个句对.
在翻译模型减少了12.
5MB的情况下,该组的平均BLEU值提高了0.
4.
通过与baseline的开发集和测试集结果对比,可以看到IBM1筛选的结果是稳定提高的.
因为通过IBM1筛选方法,选取的是互译性较强的句对,所以得到的结果是稳定提高的.
这组实验表明,IBM1句对评价模型能够有效选取互译性加强的句对.
LM组的实验,分别筛选了44,565和46,547个句对.
称前一组为LM1,后一组为LM2,而这两组实验的结果大相径庭.
我们可以看到LM1在翻译模型减少了40MB的情况下,却达到了最好的效果,其将平均BLEU值提高了将近1.
0.
相反的,LM2在翻译模型减少12MB的情况下,却仅将BLEU值提高0.
15,但其测试出来的鲁棒性较好.
这组实验很好地说明了,并不是规模越大的语料训练出来的翻译模型越好.
虽然LM1的平均BLEU值结果很好,但是也能看到其BLEU值的不稳定性相当明显.
在测试集1里面,LM1的测试结果是最差的,甚至远差于baseline组.
而造成这个现象的原因,是语料的词语覆盖度过低.
这组实验表明,基于语言模型困惑度的筛选方法的随机性比较强,鲁棒性有所欠缺,需要搭配其他方法一起使用才能得到好的结果.
ALL组的实验也进行了两小组.
分别筛选了45793和46优先出版计算机应用研究第33卷580对句对,并将其分别命名为ALL1和ALL2组.
这组的实验结果在预料之中.
ALL1组的结果略差于baseline系统.
这是因为语料规模减少过多,造成了翻译时过多的未登录词,从而影响了最终的结果.
虽然A11L组没有提高平均的BLEU值,但是其在测试集一上的结果要优于baseline,而测试集二上差的也不多,没有了LM1的那种不稳定性.
ALL2组在翻译模型减少了14.
5MB的情况下,将平均BLEU值提高了0.
4.
另外ALL2组的鲁棒性也非常好,在两个评测集上,其分别将BLEU值提高了0.
5、0.
4.
同IBM1组对比,ALL2的结果也更好.
这组实验表明,使用的综合求交集的方法确实稳定有效的提高了翻译的性能.
总而言之,三种方法都能够有效的筛选维汉双语语料.
IBM1对齐评价的表现比较稳定,,在翻译模型规模减小的同时,对最终结果有一定的提升.
基于双语语言困惑度的筛选方法则是具有一定的波动性,在词覆盖度有所保证的情况下,能获得很好的结果,反之亦然.
综合筛选方法,在消耗了少量的前期处理时间和计算量的前提下,可以得到最优的结果.
4结束语维汉统计机器翻译所使用的维汉双语语料,其对质量的要求很高.
应该在加大维汉双语语料规模的同时,注意筛选其质量.
本文通过对IBM1模型进行修改,让其适合于评价句对质量,这种方法可以规避维汉双语语料筛选中对维汉双语词典的依赖,尤其适合语料并不是很充足的双语语料筛选.
同时,基于双语语言困惑度的筛选方法则能够在保证双语句对流畅性的前提下进行筛选.
另外,本文还将IBM1和双语语言模型筛选出来的语料进行了求交集操作,这样有效的解决了筛选指标间权重确定的问题,实验表明这种方法筛选得到的语料鲁棒性更强.
而且这三种方法对各种双语平行语料的支持都很好.
总的来说,使用这三种方法过滤的语料进行翻译模型的训练可以在减少翻译表的前提下提高维汉机器翻译的质量.
由于本文的实验语料质量本身就已很高,噪声很少,而且维汉双语语料实验数据规模偏小,所以实验的结果并不是十分明显.
下一步,准备着手进行大规模维汉语料的筛选研究,探索出更适合大数据的语料筛选方法.
另外,也在考虑加入维语自身的特性,寻找到更适合维汉双语的新方法.
参考文献:[1]米成刚,王磊,杨雅婷,等.
维汉机器翻译未登录词识别研究[J].
计算机应用研究,2013,30(4):112-115[2]OchFJ,NeyH.
Thealignmenttemplateapproachtostatisticalmachinetranslation[C]//Procofthe42ndAnnualMeetingoftheAssociationforComputationalLinguistics.
2004.
[3]陈毅东,史晓东,周昌乐,平行语料库处理初探:一种排序模型[J].
中文信息学报增刊,2006:66-70.
[4]姚树杰,肖桐,朱靖波,基于句对质量和覆盖度的统计机器翻译训练语料选取[J].
中文信息学报,2011,25(002):72-7.
[5]王星,涂兆鹏,谢军,吕雅娟,姚建民,一种基于分类的平行语料选择方法[J].
中文信息学报,2013,27(006):144-150.
[6]黄瑾,吕雅娟,刘群,基于信息检索方法的统计翻译系统训练数据选择与优化[J].
中文信息学报,2008,22(2):40-46.
[7]BrownPE,DellaPietraSA,DellaPietraVJ,etal.
Themathematicsofstatisticalmachinetranslation:parameterestimation[C]//Procofthe31stAnnualMeetingoftheAssociationforComputationalLinguistics.
1993.
[8]宗成庆,张霄军.
统计机器翻译[M].
电子工业出版社2012,59-61[9]梁华参,赵铁军,统计机器翻译中双语语料的过滤及词对齐的改进[J].
智能计算机与应用,2013,3(4):10-17[10]OchFJ.
Minimumerrorratetraininginstatisticalmachinetranslation[C]//Procofthe41stAnnualMeetingoftheAssociationforComputationalLinguistics.
2003.
160-167.
[11]PapineniK,RoukosS,WardT,etal.
BLEU:amethodforautomaticevaluationofmachinetranslation[C]//Procofthe40thAnnualMeetingonAssociationforComputationalLinguistics.
AssociationforComputationalLinguistics,2002:311-318.
[12]KoehnP,OchFJ,MarcuD.
Statisticalphrase-basedtranslation[C]//ProcofHLT-NAACL.
2003:127-133.