Lapkričio 2016, Microsoft atnešė naudos PG-Powered mašininio vertimo, dar žinomas kaip Neural Machine Translation (NMT), kūrėjams ir galutiniams vartotojams tiek. praėjusi savaitė "Microsoft" atnešė NMT galimybę į debesis krašto panaudojant NPU, PG skirtas duomenų tvarkytojas, integruotas į Kapitono padėjėjas 10, Naujausias "Huawei" pagrindinis telefonas. Naujas lustas daro PG-Powered vertimai rasti prietaiso net nesant interneto prieigos, leidžianti sistema gaminti vertimus, kurių kokybė yra lygiavertė su interneto sistema.

Kad pasiektų šį proveržį, mokslininkai ir inžinieriai iš "Microsoft" ir "Huawei" bendradarbiavo prisitaikydami prie šios naujos kompiuterijos aplinkos.

Pažangiausias NMT sistemos šiuo metu gamybos (ty, naudojamas masto debesyje verslo ir Apps) naudoja neuroninio tinklo architektūra derinant kelis sluoksnius LSTM tinklai, dėmesio algoritmas, ir vertimo (dekoderis) sluoksnis.

Animacija žemiau paaiškina, supaprastinta būdu, kaip tai Multi-Layer neuroninių tinklo funkcijas. Daugiau informacijos rasiteKas yra mašininio vertimo puslapis"Microsoft Translator svetainėje.

 

Šis debesis NMT įgyvendinimo, šių vidurio LSTM sluoksniai sunaudoja didžiąją dalį skaičiavimo galia. Kad būtų galima paleisti visą NMT mobiliajame prietaise, buvo būtina rasti mechanizmą, kuris galėtų sumažinti šių skaičiavimo išlaidas, tuo pačiu išsaugant, kiek įmanoma, vertimo kokybę.

Tai kur "Huawei" neuroninių apdorojimo padalinys (NPU) ateina į žaidimą.  "Microsoft" mokslininkai ir inžinieriai pasinaudojo NPU, kuris yra specialiai inžinerijos tobulėti mažo latentinis AI skaičiavimai, iškrauti operacijas, kurios būtų nepagrįstai lėtas procesas dėl pagrindinio procesoriaus.

 

Įgyvendinimo

Įgyvendinimas dabar prieinamas "Microsoft Translator App už" Huawei Mate 10 optimizuoja vertimą iškrovimo labiausiai apskaičiuoti daug uždavinių NPU.

Tiksliau sakant, šis įgyvendinimas pakeičia šiuos vidurinį LSTM tinklo sluoksnius giliaiEDF-priekinio neuroninio tinklo. Deep pašarai-pirmyn Neuroniniai tinklai yra galinga, bet reikia labai daug skaičiavimo dėl didelio ryšio tarp neuronų.

Neuronowe tinklai pirmiausia remtis matrica multiplications, operacija, kuri nėra sudėtinga iš matematinio požiūriu, bet labai brangus, kai atliekamas tokio masto, reikia tokiam gilus neuroninis tinklas. "Huawei" NPU pasižymi, kad atliekant šiuos matricos dauginant masiškai lygiagrečiai mados. Jis taip pat gana efektyvus iš energijos naudojimo požiūriu, svarbi kokybė baterija prietaisus.

Kiekviename šio kanalo-persiuntimo tinklo sluoksnyje NPU apskaičiuoja tiek žaliavos neuronų produkciją, tiek vėlesnius ReLu aktyvinimo funkcija efektyviai ir labai mažai gaištis. Pritraukiant daug didelės spartos atminties NPU, ji atlieka šiuos skaičiavimus lygiagrečiai be mokėti už duomenų perdavimą (ty lėtėja veiklos išlaidas) tarp CPU ir NPU.

Apskaičiavus galutinį šio gilaus padavimo tinklo sluoksnį, sistema turi daug informacijos apie šaltinio kalbos sakinį. Šis atstovavimas tada šeriami per kairės į dešinę LSTM "dekoderis" gaminti kiekvienos tikslinės kalbos žodis, su tuo pačiu dėmesio algoritmas naudojamas interneto versija NMT.

 

As Antanas Aue, pagrindinė programinės įrangos kūrimo inžinierė "Microsoft Translator" komandoje paaiškina: "imtis sistema, kuri veikia galingi debesys serveriai duomenų centras ir veikia nepakitęs į mobilųjį telefoną nėra perspektyvi alternatyva. Mobiliuosiuose įrenginiuose naudojama ribota skaičiavimo galia, atmintis ir energijos naudojimas, todėl debesies sprendimų nėra. Turintys prieigą prie NPU, kartu su kai kurių kitų architektūros tweaks, leido mums dirbti apie daugelį šių apribojimų ir sukurti sistemą, kuri gali paleisti greitai ir efektyviai įrenginyje be kompromiso vertimo kokybė."

Šių vertimo modelių diegimo inovacinių NPU Chipset leido "Microsoft" ir "Huawei" pristatyti prietaiso neuroninių vertimo kokybė panaši į debesis pagrįstas sistemas, net jei esate išjungti tinklelį.