In November 2016 het Microsoft die voordeel van AI-aangedrewe masjienvertaling, oftewel Neural Machine Translation (NMT), aan ontwikkelaars sowel as eindgebruikers gebring. Verlede week Microsoft het NMT-vermoë na die rand van die wolk gebring deur gebruik te maak van die NPU, 'n AI-toegewyde verwerker wat in die Maat 10, Huawei se nuutste vlagskipfoon. Die nuwe chip stel AI-aangedrewe vertalings op die toestel beskikbaar, selfs in die afwesigheid van internettoegang, wat die stelsel in staat stel om vertalings te produseer waarvan die kwaliteit ooreenstem met die aanlynstelsel.

Om hierdie deurbraak te bewerkstellig, het navorsers en ingenieurs van Microsoft en Huawei saamgewerk om neurale vertaling by hierdie nuwe rekenaaromgewing aan te pas.

Die mees gevorderde NMT-stelsels wat tans in produksie is (dws op skaal in die wolk deur besighede en programme gebruik word) gebruik 'n neurale netwerkargitektuur wat verskeie lae van LSTM netwerke, 'n aandagsalgoritme en 'n vertaling (dekodeerder) laag.

Die animasie hieronder verduidelik op 'n vereenvoudigde manier hoe hierdie multi-laag neurale netwerk funksioneer. Vir meer besonderhede, verwys asseblief na die "wat is masjienvertaling bladsy" op die Microsoft Translator-webwerf.

 

In hierdie wolk-NMT-implementering verbruik hierdie middelste LSTM-lae 'n groot deel van die rekenaarkrag. Om volledige NMT op 'n mobiele toestel te kon uitvoer, was dit nodig om 'n meganisme te vind wat hierdie berekeningskoste kan verlaag terwyl die vertaalkwaliteit soveel as moontlik behou word.

Dit is waar Huawei se neurale verwerkingseenheid (NPU) ter sprake kom.  Microsoft-navorsers en ingenieurs het voordeel getrek uit die NPU, wat spesifiek ontwerp is om uit te blink in lae-latensie AI-berekeninge, om bedrywighede af te laai wat onaanvaarbaar stadig sou gewees het om op die hoof-SVE te verwerk.

 

Implementering

Die implementering wat nou beskikbaar is op die Microsoft Translator-app vir die Huawei Mate 10 optimaliseer vertaling deur die mees rekenaarintensiewe take na die NPU af te laai.

Spesifiek, hierdie implementering vervang hierdie middelste LSTM-netwerklae deur 'n diep fEed-voorwaartse neurale netwerk. Diep voer-voorwaartse neurale netwerke is kragtig, maar benodig baie groot hoeveelhede berekening as gevolg van die hoë konnektiwiteit tussen neurone.

Neurale netwerke maak hoofsaaklik staat op matriksvermenigvuldigings, 'n bewerking wat vanuit 'n wiskundige oogpunt nie kompleks is nie, maar baie duur is wanneer dit uitgevoer word op die skaal wat nodig is vir so 'n diep neurale netwerk. Die Huawei NPU blink uit in die uitvoering van hierdie matriksvermenigvuldigings op 'n massiewe parallelle manier. Dit is ook redelik doeltreffend vanuit 'n kragbenuttingsoogpunt, 'n belangrike kwaliteit op battery-aangedrewe toestelle.

By elke laag van hierdie voervoorwaartse netwerk bereken die NPU beide die rou neuron-uitset en die daaropvolgende ReLu aktivering funksie doeltreffend en met baie lae latensie. Deur gebruik te maak van die ruim hoëspoedgeheue op die NPU, voer dit hierdie berekeninge parallel uit sonder om die koste vir data-oordrag (dws die verlangsaming van prestasie) tussen die SVE en die NPU te betaal.

Sodra die laaste laag van hierdie diepvoer-voorwaartse netwerk bereken is, het die stelsel 'n ryk voorstelling van die brontaalsin. Hierdie voorstelling word dan gevoer deur 'n links-na-regs LSTM "dekodeerder" om elke teikentaalwoord te produseer, met dieselfde aandagalgoritme wat in die aanlyn weergawe van die NMT gebruik word.

 

As Anthony Aue, 'n hoofsagteware-ontwikkelingsingenieur in die Microsoft Translator-span verduidelik: "Om 'n stelsel te neem wat op kragtige wolkbedieners in 'n datasentrum werk en dit onveranderd op 'n selfoon laat loop, is nie 'n lewensvatbare opsie nie. Mobiele toestelle het beperkings in rekenaarkrag, geheue en kragverbruik wat wolkoplossings nie het nie. Deur toegang tot die NPU te hê, tesame met 'n paar ander argitektoniese aanpassings, kon ons baie van hierdie beperkings omseil en 'n stelsel ontwerp wat vinnig en doeltreffend op die toestel kan werk sonder om die vertaalkwaliteit in gevaar te stel."

Die implementering van hierdie vertaalmodelle op die innoverende NPU-skyfiestel het Microsoft en Huawei in staat gestel om neurale vertaling op die toestel te lewer teen 'n kwaliteit wat vergelykbaar is met dié van wolkgebaseerde stelsels, selfs as u van die rooster af is.