2016 Kasım ayında Microsoft, AI destekli makine çevirisi, aka neural makine çevirisi (NMT), geliştiriciler ve son kullanıcılar için yararını getirdi. Geçen hafta Microsoft, NMT yeteneğini bulut kenarına getirdi NPU yararlanarak, AI adanmış bir işlemci entegre Montaj ilişkisi 10, Huawei 'nin en son amiral gemisi telefonu. Yeni çip, internet erişimi yokluğunda bile cihazda AI destekli çevirileri kullanılabilir hale getirir ve sistemin kalitesini çevrimiçi sisteme göre içeren Çeviriler üretmesini sağlar.

Bu atılım elde etmek Için, araştırmacılar ve mühendisler Microsoft ve Huawei bu yeni bilgisayar ortamına nöral çeviri uyum içinde işbirliği yaptı.

Şu anda üretimde en gelişmiş NMT sistemleri (yani, işletmeler ve uygulamalar tarafından buluttaki ölçekte kullanılan), çoklu katmanları birleştiren bir neural ağ mimarisi kullanıyor LSTM ağları, dikkat algoritması ve çeviri (kod çözücü) katmanı.

Aşağıdaki animasyon, Basitleştirilmiş bir şekilde, bu çok katmanlı neural ağ fonksiyonları nasıl açıklar. Daha fazla ayrıntı Için lütfen "makine çevirisi sayfası nedir"Microsoft Translator sitesinde.

 

Bu bulut NMT uygulamasında, bu orta LSTM katmanları, bilgisayar gücünün büyük bir kısmını tüketir. Bir mobil cihazda tam NMT çalıştırmak için, mümkün olduğunca, çeviri kalitesini korurken bu hesaplama maliyetlerini azaltabilir bir mekanizma bulmak için gerekli oldu.

Burası Huawei 'nin nöral Işleme ünitesi 'nin (NPU) oyuna geldiği yerdir.  Microsoft araştırmacılar ve mühendisler NPU, özellikle düşük gecikmeli AI hesaplamaları Excel için, kabul edilemez ana CPU üzerinde işlemek için yavaş olacak işlemleri boşaltma için tasarlanmış bir avantaj aldı.

 

Uygulama

Huawei Mate 10 için Microsoft Translator uygulamasında artık kullanılabilen uygulama, en yoğun işlem gerektiren görevleri NPU 'ya boşaltarak çeviriyi optimize eder.

Özellikle, bu uygulama bu orta LSTM ağ katmanlarını derin bir f ile değiştirireed-ileri sinir ağı. Derin yem-ileri sinir ağları güçlü ama nöronlar arasında yüksek bağlantı nedeniyle hesaplama çok büyük miktarlarda gerektirir.

Nöral ağlar öncelikle matris çoğalmakta, matematiksel bir açıdan karmaşık olmayan bir işlem ancak çok pahalı böyle bir derin neural ağ için gerekli ölçekte gerçekleştirildiğinde dayanır. HUAWEI NPU, bu matris çarpımlarını kitlesel paralel bir şekilde gerçekleştirme konusunda üstünlük oluşturmaktadır. Aynı zamanda bir güç kullanımı açısından oldukça etkilidir, pil destekli cihazlarda önemli bir kalite.

Bu besleme ileri ağının her katmanında, NPU hem ham nöron çıkışını hem de sonraki ReLu aktivasyon fonksiyonu verimli ve çok düşük gecikme ile. NPU üzerinde geniş yüksek hızda bellek yararlanarak, CPU ve NPU arasında veri aktarımı (yani, yavaşlama performansı) için maliyet ödemek zorunda kalmadan bu hesaplamalar paralel olarak gerçekleştirir.

Bu derin besleme ileri ağının son katmanı hesaplandıktan sonra sistem kaynak dil cümleyi zengin bir temsili vardır. Bu temsili sonra soldan sağa LSTM "kod çözücü" her hedef dil sözcüğü, NMT çevrimiçi sürümünde kullanılan aynı dikkat algoritması ile üretmek için beslenir.

 

Olarak Mehmet özkaya, Microsoft Translator ekibinde bir asıl yazılım geliştirme mühendisi şunları açıklıyor: "bir veri merkezinde güçlü bulut sunucularında çalışan ve bir cep telefonu üzerinde değişmeden çalışan bir sistem alarak uygulanabilir bir seçenek değildir. Mobil cihazların, bulut çözümlerinin olmadığı bilgisayar gücü, bellek ve güç kullanımı sınırlamaları vardır. Diğer bazı mimari tweaks ile birlikte NPU erişimi olan, bize bu sınırlamalar birçok etrafında çalışma ve hızlı ve verimli bir şekilde üzerinde-cihaz üzerine çeviri kalitesi ödün vermeden çalışabilir bir sistem tasarlamak için izin."

Bu çeviri modellerinin yenilikçi NPU Chipset üzerinde uygulanması, Microsoft ve HUAWEI 'nin cihaz üzerindeki nöral çevirisi sayesinde bulut tabanlı sistemlerin kılavuzdan bile uzak olduğu bir kalitede sunmasına izin verdi.