ในเดือนพฤศจิกายน๒๐๑๖, ไมโครซอฟท์นำประโยชน์ของการแปลเครื่องคอมพิวเตอร์ AI, aka เครื่องระบบประสาทแปล (NMT), นักพัฒนาและผู้ใช้ปลายทางเหมือนกัน. สัปดาห์ที่แล้ว ไมโครซอฟท์นำความสามารถ NMT ไปยังขอบของเมฆ โดยใช้ประโยชน์จาก NPU ซึ่งเป็นโปรเซสเซอร์แบบ AI โดยเฉพาะ เมท10, โทรศัพท์เรือธงล่าสุดของ Huawei ชิปใหม่ทำให้การแปล AI ที่มีอยู่บนอุปกรณ์แม้ในกรณีที่ไม่มีการเข้าถึงอินเทอร์เน็ต, การเปิดใช้งานระบบในการผลิตการแปลที่มีคุณภาพอยู่ในหุ้นที่มีระบบออนไลน์.

นักวิจัยและวิศวกรจาก Microsoft และ Huawei มีความร่วมมือในการปรับการแปลของระบบประสาทให้เข้ากับสภาพแวดล้อมการประมวลผลใหม่นี้

ระบบ NMT ที่ทันสมัยที่สุดในปัจจุบันในการผลิต (เช่นใช้ในระดับของระบบคลาวด์โดยธุรกิจและแอป) กำลังใช้สถาปัตยกรรมเครือข่ายประสาทรวมหลายชั้นของ เครือข่าย LSTM, อัลกอริทึมความสนใจ, และการแปล (ถอดรหัส) ชั้น.

ภาพเคลื่อนไหวด้านล่างอธิบาย, ในวิธีที่ง่าย, วิธีนี้ฟังก์ชั่นเครือข่ายประสาทหลายชั้น. สำหรับรายละเอียดเพิ่มเติมโปรดดูที่หน้าแปลของเครื่องคืออะไร"บนเว็บไซต์ Microsoft แปลภาษา

 

ในการใช้งาน NMT แบบคลาวด์นี้ชั้นกลาง LSTM เหล่านี้ใช้ส่วนใหญ่ของพลังการประมวลผล เพื่อให้สามารถเรียกใช้ NMT เต็มรูปแบบบนอุปกรณ์มือถือ, มันเป็นสิ่งจำเป็นที่จะหากลไกที่สามารถลดค่าใช้จ่ายในการคำนวณเหล่านี้ในขณะที่รักษา, มากที่สุดเท่าที่เป็นไปได้, คุณภาพการแปล.

นี่คือที่ที่หน่วยประมวลผลประสาทของ Huawei (NPU) เข้ามาเล่น  นักวิจัยและวิศวกรของ Microsoft ใช้ประโยชน์จาก NPU ซึ่งได้รับการออกแบบมาโดยเฉพาะกับ excel ที่มีการประมวลผล AI แฝงต่ำเพื่อถ่ายโหลดการดำเนินงานที่จะได้รับการทำให้ช้าลงในการดำเนินการกับ CPU หลัก

 

การดำเนินงาน

การดำเนินการในขณะนี้พร้อมใช้งานบนแอพพลิเคแปล Microsoft สำหรับ Huawei Mate 10 เพิ่มประสิทธิภาพการแปลโดยการโอนงานที่มีการคำนวณมากที่สุดไปยัง NPU

โดยเฉพาะอย่างยิ่งการดำเนินการนี้แทนชั้นเครือข่าย LSTM กลางเหล่านี้โดยลึก fเครือข่ายประสาทด้านหน้า eed. เครือข่ายประสาทไปข้างหน้าแบบลึกมีประสิทธิภาพแต่ต้องการการคำนวณจำนวนมากเนื่องจากการเชื่อมต่อที่สูงในหมู่เซลล์ประสาท.

เครือข่ายประสาทอาศัยเป็นหลักในการคูณเมทริกซ์, การดำเนินการที่ไม่ซับซ้อนจากมุมมองทางคณิตศาสตร์แต่มีราคาแพงมากเมื่อดำเนินการที่เครื่องชั่งที่จำเป็นสำหรับเครือข่ายประสาทลึก. หัวเว่ย NPU เก่งในการดำเนินการคูณของเมทริกซ์เหล่านี้ในแฟชั่นแบบขนาน นอกจากนี้ยังค่อนข้างมีประสิทธิภาพจากมุมมองการใช้พลังงานที่มีคุณภาพที่สำคัญในอุปกรณ์ขับเคลื่อนแบตเตอรี่

ในแต่ละชั้นของเครือข่ายไปข้างหน้าฟีดนี้ NPU จะคำนวณทั้งผลผลิตของเซลล์ประสาทดิบและในภายหลัง ฟังก์ชันการเปิดใช้งาน ReLu มีประสิทธิภาพและมีเวลาแฝงที่ต่ำมาก โดยการใช้ประโยชน์จากหน่วยความจำความเร็วสูงที่กว้างขวางบน NPU จะดำเนินการคำนวณเหล่านี้ในแบบคู่ขนานโดยไม่ต้องจ่ายค่าใช้จ่ายสำหรับการถ่ายโอนข้อมูล (เช่นการชะลอตัวลงประสิทธิภาพ) ระหว่าง CPU และ NPU

เมื่อชั้นสุดท้ายของเครือข่ายการส่งต่อฟีดลึกนี้จะถูกคำนวณระบบมีการแสดงกราฟิกของประโยคภาษาต้นฉบับมากมาย การแสดงนี้จะถูกป้อนผ่านจากซ้ายไปขวา LSTM "ถอดรหัส" เพื่อผลิตแต่ละคำภาษาเป้าหมายที่มีอัลกอริทึมความสนใจเดียวกันที่ใช้ในรุ่นออนไลน์ของ NMT

 

เป็น แอนโธนีเออ, วิศวกรพัฒนาซอฟต์แวร์หลักในทีมนักแปลของ Microsoft อธิบายว่า: "การใช้ระบบที่ทำงานบนเซิร์ฟเวอร์เมฆที่มีประสิทธิภาพในศูนย์ข้อมูลและการดำเนินการที่ไม่เปลี่ยนแปลงบนโทรศัพท์มือถือไม่ได้เป็นตัวเลือกที่ใช้งานได้ อุปกรณ์เคลื่อนที่มีข้อจำกัดในการใช้พลังงานการประมวลผลหน่วยความจำและกำลังไฟที่โซลูชั่นคลาวด์ไม่มี การเข้าถึง NPU พร้อมกับการปรับแต่งสถาปัตยกรรมอื่นๆที่ช่วยให้เราสามารถทำงานรอบข้อจำกัดต่างๆเหล่านี้และการออกแบบระบบที่สามารถทำงานได้อย่างรวดเร็วและมีประสิทธิภาพบนอุปกรณ์โดยไม่ต้องประนีประนอมคุณภาพการแปล."

การดำเนินงานของรูปแบบการแปลเหล่านี้ในชิปเซ็ต NPU นวัตกรรมที่อนุญาตให้ Microsoft และ Huawei ในการส่งมอบการแปลของระบบประสาทในอุปกรณ์ที่มีคุณภาพเทียบเคียงกับที่มีการใช้งานบนเครื่องระบบคลาวด์แม้ในขณะที่คุณปิดตาราง