В ноябре 2016, Microsoft принесла преимущество AI-Powered машинного перевода, ака нейронные машины перевода (NMT), для разработчиков и конечных пользователей, так. На прошлой неделе Корпорация Майкрософт принесла NMT способность к краю облака используя NPU, выделенный AI-процессор, интегрированный в Мате 10, Новейший флагманский телефон Huawei. Новый чип делает AI-Powered переводы доступны на устройстве даже при отсутствии доступа в Интернет, что позволяет системе производить переводы, качество которых находится на паритете с онлайн-системы.

Для достижения этого прорыва, исследователи и инженеры из Microsoft и Huawei сотрудничали в адаптации нейронных переводов на эту новую вычислительную среду.

Самые передовые системы NMT в настоящее время в производстве (т.е., используемые в масштабе в облаке предприятиями и приложениями) используют архитектуру нейронной сети, объединяя несколько слоев Сети LSTM, алгоритм внимания и слой перевода (декодера).

Анимация ниже объясняет, в упрощенном виде, как эта многоуровневая нейронная сеть функционирует. Для более подробной информации, пожалуйста, обратитесь к "что такое страница машинного перевода» на сайте Microsoft Translator.

 

В этой облачной реализации NMT эти средние слои LSTM потребляют большую часть вычислительной мощности. Чтобы иметь возможность запускать полный NMT на мобильном устройстве, необходимо было найти механизм, который мог бы снизить эти вычислительные затраты при сохранении, насколько это возможно, качества перевода.

Это где нейронной обработки блока Huawei (NPU) вступает в игру.  Исследователи и инженеры корпорации Майкрософт воспользовались преимуществами NPU, который специально разработан для Excel в вычислениях AI с низкой задержкой, для разгрузки операций, которые были бы недопустимо медленными для обработки на основном ЦП.

 

Реализации

Реализация теперь доступна в приложении Microsoft Translator для Huawei Mate 10 оптимизирует перевод путем разгрузки наиболее ресурсоемких задач в NPU.

В частности, эта реализация заменяет эти средние LSTM сетевые слои на глубокий fНейронная сеть ЕФД-Forward. Глубокие подача-вперед нейронные сети являются мощными, но требуют очень больших объемов вычислений из-за высокой связи между нейронами.

Нейронные сети полагаются прежде всего на матрицу умножения, операция, которая не является сложной с математической точки зрения, но очень дорого, когда выполняется в масштабах, необходимых для такой глубокой нейронной сети. Huawei NPU превосходит в выполнении этих матричных умножения в массово параллельно моды. Это также довольно эффективно с точки зрения использования энергии, важное качество на батарейках устройств.

На каждом слое этой сети подачи-пересылки, NPU вычисляет как необработанный выход нейрона, так и последующие Функция активации Релу эффективно и с очень низкой задержкой. Используя достаточно высокую скорость памяти на NPU, он выполняет эти вычисления параллельно без необходимости оплачивать затраты на передачу данных (т.е. замедление производительности) между ЦП и NPU.

Как только конечный слой этой глубокой сети пересылки вычисляется, система имеет богатое представление предложения исходного языка. Это представление затем подается через слева направо LSTM "декодер", чтобы произвести каждое слово целевого языка, с тем же алгоритмом внимания, используемым в онлайн-версии NMT.

 

Как Энтони Aue, главный инженер по разработке программного обеспечения в группе переводчиков Microsoft объясняет: "принятие системы, работающей на мощных облачных серверах в центре обработки данных и работающей без изменений на мобильном телефоне, не является жизнеспособным вариантом. Мобильные устройства имеют ограничения в вычислительной мощности, памяти и энергопотреблении, которые не имеют облачных решений. Имея доступ к NPU, а также некоторые другие архитектурные хитрости, позволили нам обойти многие из этих ограничений и разработать систему, которая может работать быстро и эффективно на устройстве без компромисса качества перевода."

Реализация этих моделей перевода на инновационный чипсет NPU позволила корпорации Майкрософт и Huawei доставить на устройстве нейронный перевод на качество, сравнимое с облачными системами, даже когда вы находитесь вне сети.