【ESEC 2010】身ぶり手ぶりで機器を操作、ジェスチャ認識システムは実用段階へ（後編）：センシング技術

「身ぶり手ぶりで機器を操作、ジェスチャ認識システムは実用段階へ（前編）」

距離画像から動きを検知

　これまでに説明したような一般的なカメラではなく、赤外線LEDと赤外線を検出するカメラを組み合わせて、利用者の動きを検出する手法もある。

　具体的には、まず複数の赤外線LEDからパルス状の赤外線を放射する。操作者に反射して戻ってきた光（反射光）を、赤外線カメラ（赤外線センサー）で検出し、到達時間をそれぞれの画素ごとに算出する。到達時間を距離情報に換算すれば、座標情報とそれぞれの座標での距離情報、すなわち操作者の姿（距離画像）が分かるわけだ。

　このような方法を、タイム・オブ・フライト(TOF：Time of Flight)と呼ぶ。一般的なカメラを使う場合に比べて、最終的なシステムは高価になるものの、検出精度を高められる。一般的なカメラを使って検出精度を高めようとすると、プロセッサにかかる負荷が大きくなってしまうという課題がある。

　日立ソフトウエアエンジニアリングと日本コントロールシステムが、距離画像を使ったジェスチャ・インターフェイスのデモを見せていた。

図1　日本コントロールシステムのジェスチャ認識アルゴリズム「GREEEN：Gesture REcognition Engine ENvironment」を使ったデモの様子

　図1は、日本コントロールシステムが見せていたデモの様子である。ディプレイ上に表示されている上下左右のボタンのいずれかを指先で選ぶことで、複数の機能を選択できる様子を見せていた。指先のわずかな動きを検出できるほど精度が高いことが大きな特徴だと説明した。同社は、独自のジェスチャ認識アルゴリズムを「GREEEN：Gesture REcognition Engine ENvironment」と名づけた。すでに提供を開始している。

　図2は、日立ソフトウエアエンジニアリングのブースで、同社と島根県産業技術センターが共同で見せていたデモである（発表資料）。アミューズメント機器やデジタル・サイネージといった用途に加えて、家電分野へも売り込む。「赤外線を使う方式はカメラが高価だとされていたが、年々価格は下がっている」（日立ソフトウエアエンジニアリングの説明者）。島根県産業技術センターが開発したジェスチャ認識用の「3DカメラセンサシステムGesture-Cam」を基に、日立ソフトウエアエンジニアリングが最終的なジェスチャ認識システムを提供する。

図2　日立ソフトウエアエンジニアリングのブースで、同社と島根県産業技術センターが共同で見せていたデモ

可視光と赤外光の両方を活用

　このほか、日本システムウエアは、可視光と赤外光の両方を使ったジェスチャ・インターフェイスのデモを見せていた（図3）。

　同社のジェスチャ認識システムでは、赤外線LEDを1フレームごとにオン/オフさせ、オン時とオフ時の差分を算出することで、物体を検出する。その後、カメラの最も手前に位置する物体が利用者の手であると仮定し、独自の検出アルゴリズムによって、指先の座標と重心位置を求める。

図3（a）　日本システムウエアの可視光と赤外光の両方を使ったジェスチャ・インターフェイスのデモ（PCとじゃんけんをしている様子)

　利用したカメラは、一般的なカラー・カメラだが、赤外線遮断フィルタを取り外して赤外線も感知できるようにしてある。可視光を使うことで、利用者の背景の動きの影響を除去する技術が独自だという。「利用者の背景の影響を受けないため、屋内のどのような状況でも使えるほど安定度が高い」（同社ブースの説明者）。カラー・カメラを使うため、通常のカラー映像もディスプレイに表示可能である。

図3（b）　日本システムウエアの可視光と赤外光の両方を使ったジェスチャ・インターフェイス（指先の動きを認識して、パソコンのディスプレイに文字を描いている様子）

　指先を検知し、その座標を算出するため　、さまざまな手の動きを機器操作に使えるとする。展示会では、PCとジャンケンをして遊んだり、指先を動かすことで、PCのディスプレイに文字を描いたりといったデモを見せていた。なお同社は、可視光のみを使ったジェスチャ認識システムの開発も進めている。