NXP、エッジ機械学習にGlow NNコンパイラをサポート、業界初のMCU向け適用を実現

Glowの標準バージョンより2～3倍のMCU性能向上を実現、画像/音声ベースの機械学習アプリケーション向けにGlow ニューラル・ネットワーク（NN）コンパイラの広範なメリットを提供

NXP Semiconductorsは、eIQ機械学習（ML）ソフトウェアによるGlowニューラル・ネットワーク（NN）コンパイラのサポートを発表し、NXPのi.MX RTクロスオーバーMCU上で小メモリ・フットプリントで性能向上を実現する業界初のNNコンパイラの適用を開始しました。
　　
Facebookが開発したGlowは、ターゲットに特化した最適化を行うことができます。
NXPはArm Cortex-MコアとCadence Tensilica HiFi 4 DSP向けにNNオペレータ・ライブラリを使用してこの機能を活用し、i.MX RT685とi.MX RT1050/RT1060の推論性能を最大化しました。さらに、この機能はNXPのeIQ機械学習ソフトウェア開発環境に統合されており、NXPのMCUXpresso SDK内で自由に利用できます。
　　
　　

GlowによるMCUアーキテクチャ機能の活用

2018年5月、PyTorchのパイオニアとしてリードするFacebookは広範なハードウェア・プラットフォーム上でニューラル・ネットワーク性能のアクセラレーションを最適化する目的で、Glow（Graph Lowering NNコンパイラ）をオープンソース・コミュニティ・プロジェクトとして発表しました。
NNコンパイラとしてGlowは最適化されていないニューラル・ネットワークを取り込み、高度に最適化したコードを生成します。これは、ジャストインタイムのコンパイルが使用され、より高い性能とメモリ・オーバーヘッドの追加が必要な一般的なニューラル・ネットワーク・モデル・プロセッシングとは異なります。Glowが実現しているように、最適化コードの直接実行はプロセッシング/メモリ要件を大幅に低減します。NXPはまた、Glowオープンソース・コミュニティで積極的な役割を担い、Glowの新機能普及の加速を支援してきました。
　　
Facebookのソフトウェア・エンジニアリング・マネージャーのDwarak Rajagopal氏は、次のようにコメントしています。
「GitHubの即時使用可能な標準バージョンのGlowはデバイスに依存せず、Arm Cortex-A/Cortex-MコアやRISC-Vアーキテクチャなどの一般的なアーキテクチャ向けにニューラル・ネットワーク・モデルをコンパイルするフレキシビリティをユーザーに提供します。MCUの演算資源を活用する専用ソフトウェア・ライブラリを用いて2～3倍の性能向上を達成することで、NXPはハイエンドのクラウドベース・マシンから低コストの組み込みプラットフォームに至るまで、機械学習アプリケーションにGlow NNコンパイラを使用する広範なメリットを実証しています」。
　　

最適化された機械学習フレームワークにより競争上の優位性を実現

MLアプリケーションに対する需要は今後数年間での大幅な増加が見込まれています。TIRIAS Researchは全エッジ・デバイスの98%が2025年までに何らかの形の機械学習/人工知能を使用するようになると予測しています。さまざまな市場予測によると、同じタイムフレームで180億～250億個のデバイスが専用のMLアクセラレータを持っていなくともML機能を搭載するようになるとみられています。コンシューマ機器メーカーや組み込みIoT開発者は、MCUを使用した低消費電力エッジ組み込みアプリケーション向けに最適化されたMLフレームワークが必要になります。
　　
NXP Semiconductorsの上席副社長兼エッジ・プロセッシング担当ゼネラル・マネージャーのRon Martinoは、次のようにコメントしています。
「NXPはエッジ・デバイス上での機械学習機能の実現をけん引しており、eIQ MLソフトウェア・フレームワークにより、高集積i.MXアプリケーション・プロセッサや高性能i.MX RTクロスオーバーMCUの堅牢な機能を活用しています。i.MX RTクロスオーバーMCUシリーズ向けにGlowのサポートを追加したことにより、お客様は深層ニューラル・ネットワーク・モデルのコンパイルと、アプリケーションでの競争上の優位性の実現が可能になります」。
　　
NXPのML向けエッジ・インテリジェンス環境ソリューションは、開発者がエッジ・デバイスにMLを効率的に実装するために必要なビルディング・ブロックを提供する包括的ツールキットです。GlowのeIQソフトウェアへの統合により、ML開発者はi.MX RTクロスオーバーMCUやi.MX 8アプリケーション・プロセッサなどのNXPのエッジ・プロセッシング・ソリューション全般でスケーラブルな包括的で高性能のフレームワークを利用できるようになりました。特にML音声アプリケーション、物体認識、顔認識などのアプリケーションをi.MX RT MCUやi.MXアプリケーション・プロセッサ上で優位に開発できるようになります。
　　

NXPのGlowニューラル・ネットワーク実装による性能向上

eIQは今回、GlowとTensorFlow Lite向けの推論サポートに対応することになりました。NXPはこの2つの性能を測定するためにベンチマーキング活動をルーティンとして実施しています。MCUのベンチマークにはCIFAR-10などの標準NNモデルが含まれています。CIFAR-10モデルを例として使用した場合、NXPが取得したベンチマーク・データはi.MX RT1060デバイス（600MHz Arm Cortex-M7)、i.MX RT1170デバイス（1GHz Arm Cortex-M7）、i.MX RT685デバイス（600MHz Cadence Tensilica HiFi 4 DSP）の性能のメリットを活用する方法を示しています。
　　
NXPのGlow向けイネーブルメントは、4.8GMACの性能を備えたTensilica HiFi 4 DSP向けにCadenceが提供するNeural Network Library（NNLib）と密接に結びついています。同じCIFAR-10の例では、NXPによるGlow実装にてNN処理のアクセラレータとしてこのDSPを使用することで25倍の性能向上を実現しています。
　　
CadenceのTensilica IP担当コーポレート・バイス・プレジデントのSanjive Agarwala氏は、次のようにコメントしています。
「Tensilica HiFi 4 DSPはもともと、広範なオーディオ/音声プロセッシング・アプリケーションに向けてi.MX RT600クロスオーバーMCUに統合されていました。しかし、低コスト・低消費電力であるMCUクラスの機器をターゲットとしたML推論アプリケーションの増加に伴い、HiFi 4 DSPの持つ高いDSP処理性能はこうしたNNモデルのアクセラレーションに活用されるようになりました。NXPのeIQ MLソフトウェアへのGlowの対応を通じて、i.MX RT600 MCUのお客様はDSPを活用し、キーワード・スポッティング（KWS）、音声認識、ノイズ抑制、異常検出などの多数のMLアプリケーションに対応できるようになりました」。
　　
Armの機械学習マーケティング担当バイス・プレジデントのDennis Laudick氏は、次のようにコメントしています。
「NXPによるelQへのArm CMSIS-NNソフトウェア・ライブラリの統合は、Arm Cortex-Mコア上でのニューラル・ネットワークの性能最大化とメモリ・フットプリント最小化を実現します。CIFAR-10ニューラル・ネットワーク・モデルを例に取ると、NXPはCMSIS-NNにより1.8倍の性能向上を実現できます。他のNNモデルも同様の結果をもたらすはずであり、この先進コンパイラや私たちの最適化したNNオペレータ・ライブラリのメリットを明確に裏付けています」。
　　
　　
供給
NXPのGlow NNコンパイラ向けeIQはi.MX RT600クロスオーバーMCUとi.MX RT1050/i.MX RT1060クロスオーバーMCU向けのMCUXpresso SDKを通じてすでに利用可能です。Glow NNコンパイラ向けeIQは今後、NXPの他のMCUに対応する予定です。
　　
　　

▼関連リンク
i.MX RTクロスオーバーMCUシリーズ
http://www.nxp.com/eiq
http://www.nxp.com/eiq/glow

NXP Semiconductors　www.nxp.com
NXPジャパン　www.nxp.jp