Το Νοέμβριο του 2016, η Microsoft έφερε το όφελος από την τεχνητή μηχανική μετάφραση, γνωστή και ως νευρική μηχανή μετάφρασης (NMT), σε προγραμματιστές και τελικούς χρήστες. Προηγούμενη εβδομάδα Η Microsoft έφερε τη δυνατότητα NMT στην άκρη του νέφους με τη μόχλευση του NPU, ενός ειδικού για την τεχνητή νοημοσύνη Φίλος 10, Το τελευταίο τηλέφωνο της Huawei. Το νέο τσιπ κάνει τις μεταφράσεις ΤΕΧΝΗΤΉς νοημοσύνης διαθέσιμες στη συσκευή ακόμη και ελλείψει πρόσβασης στο διαδίκτυο, επιτρέποντας στο σύστημα να παράγει μεταφράσεις των οποίων η ποιότητα είναι ισότιμη με το διαδικτυακό σύστημα.

Για να επιτευχθεί αυτό το επίτευγμα, ερευνητές και μηχανικοί από τη Microsoft και τη Huawei συνεργάστηκαν για την προσαρμογή της νευρωνικής μετάφρασης σε αυτό το νέο υπολογιστικό περιβάλλον.

Τα πιο προηγμένα συστήματα NMT που βρίσκονται επί του παρόντος στην παραγωγή (δηλ., χρησιμοποιούνται σε κλίμακα στο cloud από επιχειρήσεις και εφαρμογές) χρησιμοποιούν μια δομή νευρικού δικτύου που συνδυάζει πολλαπλά στρώματα Δίκτυα LSTM, έναν αλγόριθμο προσοχής, και ένα επίπεδο μετάφρασης (αποκωδικοποιητής).

Το παρακάτω κινούμενο σχέδιο εξηγεί, με έναν απλοποιημένο τρόπο, τον τρόπο λειτουργίας αυτού του νευρικού δικτύου πολλαπλών στρώσεων. Για περισσότερες λεπτομέρειες, ανατρέξτε στοΤι είναι η σελίδα μετάφρασης μηχανής"στην τοποθεσία Microsoft μεταφράστρια.

 

Σε αυτή την εφαρμογή NMT σύννεφο, αυτά τα μεσαία επίπεδα LSTM καταναλώνουν ένα μεγάλο μέρος της πληροφορικής ισχύος. Για να είναι δυνατή η εκτέλεση πλήρους NMT σε κινητή συσκευή, ήταν απαραίτητο να βρεθεί ένας μηχανισμός που θα μπορούσε να μειώσει αυτά τα υπολογιστικά κόστη, διατηρώντας παράλληλα, όσο το δυνατόν περισσότερο, την ποιότητα της μετάφρασης.

Αυτό είναι όπου η νευρολογική μονάδα επεξεργασίας (NPU) της Huawei έρχεται σε αναπαραγωγή.  Οι ερευνητές και οι μηχανικοί της Microsoft εκμεταλλευόταν το NPU, το οποίο είναι ειδικά σχεδιασμένο για να διαπρώσει σε υπολογισμούς AI χαμηλού λανθάνοντος χρόνου, για να μειώσει τις λειτουργίες που θα ήταν απαράδεκτα αργή για να επεξεργαστεί στην κύρια CPU.

 

Εφαρμογή

Η υλοποίηση που είναι πλέον διαθέσιμη στην εφαρμογή Microsoft μεταφράστρια για το Huawei mate 10 βελτιστοποιεί τη μετάφραση, αποφορτώνοντας τις πιο εντατικές εργασίες στο NPU.

Συγκεκριμένα, αυτή η εφαρμογή αντικαθιστά αυτά τα μεσαία επίπεδα δικτύου LSTM από μια βαθιάπιο μακρόπνοο νευρικό δίκτυο. Βαθιά τροφοδοσία-εμπρός νευρικά δίκτυα είναι ισχυρά, αλλά απαιτούν πολύ μεγάλες ποσότητες υπολογισμού λόγω της υψηλής συνδεσιμότητας μεταξύ των νευρώνων.

Τα νευρικά δίκτυα βασίζονται κυρίως σε πολλαπλασιασμούς μήτρας, μια λειτουργία που δεν είναι πολύπλοκη από μαθηματική σκοπιά αλλά πολύ δαπανηρή όταν εκτελείται στην κλίμακα που απαιτείται για ένα τόσο βαθύ νευρικό δίκτυο. Το Huawei NPU υπερέχει στην εκτέλεση αυτών των πολλαπλασιασμοί μήτρας με μαζικά παράλληλο τρόπο. Είναι επίσης αρκετά αποτελεσματική από τη σκοπιά της χρήσης της ενέργειας, μια σημαντική ποιότητα στις συσκευές που τροφοδοτούνται με μπαταρίες.

Σε κάθε στρώση αυτού του δικτύου προώθησης, η NPU υπολογίζει τόσο την παραγωγή ακατέργαστου νευρώνα όσο και την επακόλουθη Λειτουργία ενεργοποίησης ReLu αποτελεσματικά και με πολύ χαμηλή αδράνεια. Αξιοποιώντας την άφθονη μνήμη υψηλής ταχύτητας στο NPU, εκτελεί αυτούς τους υπολογισμούς παράλληλα χωρίς να χρειάζεται να καταβάλει το κόστος για τη μεταφορά δεδομένων (δηλ., επιβράδυνση της απόδοσης) μεταξύ της CPU και του NPU.

Μόλις υπολογιστεί το τελικό στρώμα αυτού του δικτύου υψηλής προώθησης, το σύστημα έχει μια πλούσια αναπαράσταση της φράσης της γλώσσας προέλευσης. Στη συνέχεια, αυτή η αναπαράσταση τροφοδοτείται μέσω ενός "αποκωδικοποιητή" LSTM από αριστερά προς τα δεξιά για την παραγωγή κάθε λέξης γλώσσας-στόχου, με τον ίδιο αλγόριθμο προσοχής που χρησιμοποιείται στην ηλεκτρονική έκδοση του NMT.

 

Ως Αντώνιος, ένας κύριος μηχανικός ανάπτυξης λογισμικού στην ομάδα μεταφράστρια της Microsoft εξηγεί: "η λήψη ενός συστήματος που τρέχει σε ισχυρούς διακομιστές cloud σε ένα κέντρο δεδομένων και το τρέξιμο αμετάβλητο σε ένα κινητό τηλέφωνο δεν είναι μια βιώσιμη επιλογή. Οι κινητές συσκευές έχουν περιορισμούς στην υπολογιστική ισχύ, τη μνήμη και τη χρήση ενέργειας που δεν έχουν οι λύσεις cloud. Έχοντας πρόσβαση στο NPU, μαζί με κάποια άλλα αρχιτεκτονικά τσιμπήματα, μας επέτρεψαν να εργαστούμε γύρω από πολλούς από αυτούς τους περιορισμούς και να σχεδιάσουμε ένα σύστημα που μπορεί να τρέξει γρήγορα και αποτελεσματικά στη συσκευή χωρίς να χρειάζεται να υπονομεύσει την ποιότητα της μετάφρασης."

Η εφαρμογή αυτών των μεταφραστικών μοντέλων στο καινοτόμο σύστημα NPU επέτρεψε στη Microsoft και τη Huawei να παραδίδουν νευρική μετάφραση στη συσκευή σε ποιότητα συγκρίσιμη με εκείνη των συστημάτων που βασίζονται στο cloud, ακόμη και όταν είστε εκτός πλέγματος.