検索
ニュース

組み込みに特化した商用の深層学習フレームワークCPUでも高速に推論処理

ディープインサイトは、「Embedded Technology 2017(ET2017)/IoT Technology 2017」で、組み込み機器に特化した商用の深層学習フレームワークを使い、CPUで高速に推論処理を実行するデモを行った。

Share
Tweet
LINE
Hatena

CPUで推論を実行できる

 ディープインサイトは2017年11月15日から17日までの会期で開催されている展示会「Embedded Technology 2017(ET2017)/IoT Technology 2017」(会場:パシフィコ横浜)で、IntelのCPUを搭載した組み込み機器で、ディープラーニングの推論処理を高速に実行するデモを披露した。ディープインサイトが開発したディープラーニングフレームワーク「KAIBER(カイバー)」の推論実行エンジンと、Intelの数値演算ライブラリ「Intel MKL」、並列化のライブラリ「OpenMP」を用いることで、組み込み機器での推論処理を高速化できたという。

 デモでは、イヌとネコの判定を行う際の処理時間を示した。同じCPUを使って推論処理を実行する場合に比べて、Intel MKLとOpenMPも使うと15〜20倍、高速化できている。

左=「KAIBER」の推論実行エンジンを使い、組み込み機器で推論処理を行っているデモ。CPUのみだと628ミリ秒かかる処理が、Intel MKLとOpenMPも使うことで39ミリ秒にまで高速化されている/右=デモで使用したIntelの「Atom」プロセッサを搭載した組み込みボード(クリックで拡大)

 IoT(モノのインターネット)機器で取得したデータを、よりリアルタイムで処理するための方法の1つとして、組み込み機器にディープラーニング(深層学習)を実装しようとする動きが始まっている。現在、ディープラーニングはGPUによって処理する方法が一般的だが、コストや消費電力に制約の多い組み込み機器では、IntelやARMコアのCPUのみを搭載していて、GPUを利用できないことも多い。そのため、CPUのみでディープラーニングの推論を高速に処理したいというニーズが高まっている。

 ディープインサイトは、こうした背景からKAIBERを開発した。

 KAIBERの最大の特長は、オープンソースではなく、商用のフレームワークだということだ。ディープラーニングのフレームワークには「Caffe」やGoogleの「TensorFlow」、PFN(Preferred Networks)の「Chainer」などがあるが、これらはいずれもオープンソースである。ディープインサイトの社長を務める久保田良則氏は、「オープンソースを使うと、機器を商用化した後のサポートを得られない。その点、KAIBERは商用フレームワークなので、しっかりとサポートできる」と強調する。

 KAIBERは、サーバで行う学習機能と、組み込み機器に搭載する推論実行エンジンで構成されているが、このどちらも商用なので、サポート体制が整っている。フレームワーク全体はJavaで開発されていて、推論実行モジュールはC言語を用意している。

 久保田氏は「GPUを使わなくても、IoT機器で推論処理を実行できるというのは大きい」と述べる。現在は推論のみを組み込みボードで実行しているが、将来的には、より高性能なCPUを使い、推論だけでなく学習もボードで実行することを目指しているという。

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る