NVIDIA TAO Toolkitを活用したエッジAI推論環境の構築(Part 1)

近年、AIの活用がますます広がり、エッジデバイスでの推論実行が求められるシーンも増えてきました。クラウドを介さずに、リアルタイムでAIモデルを実行できるエッジAIは、遅延の削減やプライバシー保護の観点からも注目されています。
本ブログでは、NVIDIA TAO Toolkit を活用してAIモデルをトレーニングし、当社で取り扱っているエッジデバイスで実際に推論を実行するまでのプロセスを紹介しますので、エッジAIの導入を考えている方の参考になれば幸いです。

様々な推論プラットフォームに展開可能なTAO Toolkit

以前のブログでも紹介したNVIDIA TAO Toolkitですが、トレーニングしたAIモデルをNVIDIA以外の推論プラットフォームにも展開することができます。

※過去ブログ：NVIDIA TAO Toolkitを使ってみた

※参照：Overview – NVIDIA Docs

NVIDIAから提供されるツールであるため、推論プラットフォームについてもNVIDIA JetsonシリーズなどTensorRT対応デバイスを考えがちですが、ONNX形式でのモデルエクスポートができるようになり、様々なエッジデバイスやクラウド推論環境など、幅広い推論プラットフォームでの利用が可能になりました。

エッジAI推論向けデバイスの選定

NVIDIA TAO Toolkitが様々な推論プラットフォームに対応できるようになったことで、NVIDIA Jetsonに限らず、Arm系NPU、Google Edge TPU、Intel OpenVINO対応デバイスなど、多くの選択肢が生まれました。では、実際にエッジデバイスはどのように選定するべきなのでしょうか。以下に選定する際の重要なポイントをまとめたいと思います。

推論性能(計算能力)
動かすAIモデルによって求められる性能が異なるのは当然のことですが、推論環境ではそれだけでなく、アプリケーションのリアルタイム性や同時接続数なども踏まえて必要な性能を検討しましょう。
消費電力と発熱
組込機器やロボットなど、電力制限のある環境では、消費電力と冷却設計についても考慮する必要があります。
メモリ要件
学習環境と同様ですが、AIモデルサイズが大きくなると、メモリ容量が重要になります。
ソフトウェア互換性
トレーニングされたモデルがデバイスの推論環境に適しているか確認する必要があります。TAO ToolkitではONNX形式でのエクスポートが可能ですが、エッジデバイス側でも対応可能か、モデルの種類やコンパイラの有無などを慎重に確認しましょう。
インターフェースと接続性
アプリケーションに必要なカメラ、センサー類との接続性や通信インターフェースの有無も重要なポイントです。
コストと調達性
もちろん価格と入手性も重要な要素になるでしょう。

以上のように、エッジデバイスの選定は推論AIを活用するアプリケーションも考慮して、適切な選択を行いましょう。

今回のブログではエッジデバイスの選択肢の一つとして、当社で取り扱っているNXP社製のFRDM i.MX93 開発ボードを紹介したいと思います。

NXP社製 FRDM i.MX93とは

FRDM i.MX93開発ボードは、NXP社が開発したエッジAI向けの低価格な開発ボードで、低消費電力かつ高効率なAI推論を実現するために設計されています。i.MX93アプリケーションプロセッサは、デュルコアのArm Cortex-A55 CPUとNPU（Neural Processing Unit）を搭載しており、エネルギー効率の高いエッジAIアプリケーションが実行可能です。

※NXP社HP：FRDM i.MX93開発ボード

※参照：FRDM i.MX 93開発ボード | NXP Semiconductors

FRDM i.MX93の主な特徴を以下にまとめます。

AI推論向けのArm Ethos-U65 NPUを搭載
最大5TOPSの処理能力を持ち、様々なAI推論の実行が可能です。
デュアルコア Arm Cortex-A55 CPU
64bit対応の省電力プロセッサです。最大動作クロック7GHzにより軽快なエッジコンピューティングが可能になります。
低消費電力設計
消費電力が限られた環境でもAI推論が実行可能であるため、小型のIoTデバイスやバッテリー駆動のエッジデバイスに適しています。
組み込み向けの豊富なインターフェース
カメラ、センサーデータの入出力に必要な様々なインターフェースを備え、EthernetやWi-Fiなどネットワーク接続も柔軟に対応可能です。
NXPエコシステムに対応
Yocto Linuxをサポートしており、eIQ ToolkitなどNXPの開発ツールとも統合可能です。

以上のような特徴から、FRDM i.MX93は物体検出や画像認識などのエッジAIアプリケーションに適したデバイスであり、スマートカメラや産業用エッジコンピューティング上で活用が考えられます。

最後に

今回のブログでは、NVIDIA TAO Toolkitを活用してエッジAI推論環境を構築するために、エッジデバイスの選定方法と当社取り扱い製品の一つであるNXP社製 FRDM i.MX93 開発ボードについて紹介しました。次回のブログでは、実際にNVIDIA TAO ToolkitとFRDM i.MX93 開発ボードを使って推論環境をデプロイし、AI推論を実行するところまでを紹介したいと考えていますので、ぜひご一読ください。

もし「NVIDIAソフトウェアスタックを使ってみたいが環境が無い」、「設定方法や使い方がわからない」などの理由でお困りの場合には、ぜひ当社にご相談ください。当社では、TED AI Lab環境をお客様へお貸出しするTED AI Lab Engineering Service(TAILES)というサービスを提供させていただいております。TAILESでは、単に機器をお貸出しするだけでなく、当社エンジニアが環境設定から使用方法まで手厚くサポートさせていただいておりますので、本稿にて紹介したようなAIパイプラインを即座に体験することができます。

ブログをお読みになり、NVIDIA製品、TED AI Lab、TAILESにご興味がある方はぜひ当社までお問合せ下さい。