現場を変える AI × ロボット(TriMath)

今回はビジョンロボットに最新AIを活用することで、複雑作業を高精度に自動化した事例について紹介します。

東京エレクトロンデバイスでは、TriMathというビジョンロボットシステムを販売しています。このシステムに最新GPUで学習したディープラーニングモデルを搭載することで、これまでのシステムでは解決できなかった複雑課題を解決することに成功しました。

これからAI活用を検討されている方はぜひご一読ください。

TriMathとは

TriMathとは、FAロボットに光学機器と独自の画像処理・AI技術を連携させたロボットシステムです。この画像処理・AI技術により、製造・物流現場で従来困難であった多種多様な不定形・不規則形状物の柔軟な搬送・仕分け作業を可能にし、現場作業の大幅な削減と効率的なシステム運用を提供します。

ビジョンロボットの課題

TriMathでは多様なカメラ・センサー類と独自の画像処理技術を駆使し、不定形・不規則な物体の認識を行っています。そのため、高精度なピッキング、仕分け作業が可能ですが、作業内容によっては従来の画像処理手法のみでは対応できなくなることがあります。

今回紹介する事例は、図のような材料袋のピッキング作業です。本作業では、次工程のラインに渡すため、単にピッキングするのみでなく、材料袋の向きを揃える必要がありました。材料袋に文字・記号・模様などがあれば向きの識別は容易ですが、本事例では材料袋が無地であることから向きの識別は容易ではありません。

当初、材料袋の向きの識別方法として、積み方の規則性を利用したルールベースの画像処理を採用していました。しかし、この方法では、材料袋が傾いていたり、ぴったりと隣接していたりすると、向きを正確に識別することができませんでした。

そこで、ルールベースの画像処理に代えて、材料袋の形とパレット上の位置を物体検出AIに学習させることで、上述の課題を解決し、把持するべき材料袋の向きを精確に識別しようと考えました。以下では、この物体検出モデル作成の流れについてお話しします。

物体検出AI

前項にて紹介した作業課題を解決するため、高精度な物体検出ディープラーニングモデルであるYOLOXの使用を考えました。YOLOXは、画像の中から特定の物体の位置や種類を高精度に検出することができるモデルです。YOLOXにはパラメータ数によっていくつかのモデルサイズ(s,m,l,xなど)があり、大きなモデルほど精度を向上させることが可能です。

このYOLOXを使用して、材料袋の位置を精確に検出し、袋の向きを揃える工程までを完全にロボットで自動化しようと考えました。

参照：https://github.com/Megvii-BaseDetection/YOLOX

YOLOXのようなディープラーニングモデルの学習にはGPUの存在が欠かせません。ディープラーニングモデルの学習では膨大な並列計算を処理する必要があるため、CPUでは途方もない時間を要します。

そこで、まずはNVIDIA GeForce RTX3060を使用してYOLOXの学習を行いました。今回の事例では学習用の画像データが7000枚程度と少ないですが、より高精度を実現するためパラメータ数の大きいYOLOX-lを使用しています。※パラメータ数が最大サイズのYOLOX-xはGPUメモリが足りず、GeForce RTX3060では学習できませんでした。

結果としては、学習におよそ72時間かけましたが、判別精度は77%程度でした。

これまでの画像処理技術では特定できなかった無地の材料袋の向きを77%の精度で判別できたと考えれば、前進したと言えますが、ロボットによる完全自動化を実現するためには心許ない数値です。より高い精度を実現するためにはよりパラメータ数の大きなモデルによる学習が考えられますが、GeForce RTX3060ではGPUメモリが足りず、学習時間もかかりすぎてしまいます。