Statistiese masjienvertaling - Gasblog (opgedateer met addisionele vraestel)
Will Lewis is 'n programbestuurder in die Microsoft Translator-span wat aan taalkwaliteit en dataverkryging werk. Vandag se gasteblog is 'n hoë vlak verduideliking van hoe die enjin werk:
Soos baie van u weet, word Microsoft Translator onder die enjinkap aangedryf deur 'n Statistical Machine Translation (SBS) enjin. Statistiese stelsels verskil van reëlgebaseerde stelsels deurdat die "reëls" wat woorde en frases van een taal na 'n ander karteer, deur die stelsel aangeleer word eerder as om met die hand gekodeer te word. Die opleiding van 'n SBS vereis dat u 'n groot hoeveelheid parallelle opleidingsdata versamel - hopelik van goeie gehalte en uit heterogene bronne - en die enjin op die data oplei. (Terselfdertyd bedoel ons 'n bron van data waar die inhoud vir een taal dieselfde is as die inhoud vir die ander.) Die enjin leer die ooreenkomste tussen woorde en frases in een taal en dié in 'n ander, wat dikwels versterk word deur herhaalde voorkomste van dieselfde woorde en frases regdeur die invoer. Byvoorbeeld, by die opleiding van die Engels-Duitse stelsel kom ons sê, as die enjin die frase sien Alle regte voorbehou aan die Engelse kant en ook kennisgewings Alle Rechte vorbehalten aan die Duitse kant kan dit hierdie twee frases in lyn bring en 'n mate van waarskynlikheid aan hierdie belyning toeken. Herhaalde voorkoms van die bron- en teikenfrases in die opleidingsdata sal hierdie belyning slegs versterk.
Oor die algemeen beteken parallelle data vir 'n taalpaar dat ons enjins in beide rigtings kan oplei (dws beide die Engels-Duitse en die Duits-Engelse stelsels kan op dieselfde invoersinne opgelei word). Sommige van u het 'n paar vrae gehad oor waarom ons die Engels-Spaanse stelsel vrygestel het voordat ons Spaans-Engels vrygestel het. Daar was regtig twee redes. Eerstens was Engels-Spaans die eerste algemene domeintaalpaar wat ons vrygestel het. Die vrystelling van een taalpaar het ons in staat gestel om die infrastruktuur te toets voordat ons meer begin vrystel het. Tweedens was die tegnologie vir Spaans-Engels effens anders as wat vir Engels-Spaans gebruik is, en ons het ekstra tyd nodig om die nodige infrastruktuurveranderings aan te bring om te akkommodeer. In die toekoms beplan ons om nuwe vertaalstelsels in pare vry te stel (met enkele uitsonderings). Ek kan nie verklap watter tale ons volgende beplan het nie, maar verwag wel binnekort 'n paar nuwes!
Vir diegene van u wat belangstel in tegniese besprekings rakende ons enjins en hoe dit werk, verwys asseblief na sommige van die referate deur die navorsers wat dit ontwikkel het. Drie onlangse referate wat opmerklik is, is:
Chris Quirk, Arul Menezes. Het ons frases nodig? Uitdaging van die konvensionele wysheid in Statistiese Masjienvertaling Mei 2006 New York, New York, VSA Verrigtinge van HLT-NAACL 2006
Chris Quirk, Arul Menezes. Afhanklikheidsboomvertaling: Die konvergensie van statistiese en voorbeeldgebaseerde masjienvertaling? Maart 2006 Masjienvertaling 43-65 (Aangehegte lêer)
Chris Quirk, Arul Menezes. Gebruik afhanklikheidsordesjablone om die algemeenheid in vertaling te verbeter Julie 2007 Vereniging vir Rekenkundige Linguistiek
