ソニー、イメージセンサーにAI処理機能を搭載：画素チップとロジックチップを積層

利用環境に合わせ、任意のAIモデルを選択可能

左がIMX500、右がIMX501の外観

　ソニーは2020年5月、イメージセンサーにAI処理機能を搭載した「インテリジェントビジョンセンサー」を発表した。エッジ側でAI処理を行うため、クラウド利用時のデータ転送遅延や通信コストの低減が可能となる。

　新製品は、イメージサイズが1/2.3型（対角7.857mm）の画素チップと、ロジックチップを重ね合わせた積層構造とした。画素チップには有効約1230万個の裏面照射型画素を配置している。ユニットセルサイズは1.55×1.55μm。感度（標準値F5.6）は約250LSBである。

　ロジックチップには、通常のイメージセンサー信号を処理する回路に加え、AI処理に特化した独自のDSPや、AIモデルを書き込むためのメモリなどを集積した。これにより、高性能プロセッサや外部メモリなどを追加しなくても、エッジAIシステムを実現できる。「AI処理機能を搭載したインテリジェントビジョンセンサーは世界でも初めて」（同社）という。

新製品の積層構造イメージ図 出典：ソニー

　イメージセンサーで撮影したデータは、ロジックチップ側でISP処理やAI処理を行い、対象物をメタデータで出力すれば、データ量を削減することができる。画像情報を出力しないことで、プライバシー保護にもつながるとみている。もちろん、出力データ形式は、通常の撮影画像やISP出力形式の画像（YUV／RGB）、特定領域を切り出したROI画像などを選択することができる。

選択可能な出力データ形式 （クリックで拡大） 出典：ソニー

　高速なAI処理を実現したことで、対象物をリアルタイムトラッキングすることが可能となった。新製品は、ロジックチップでISP処理と高速なAI処理（モバイル機器向け画像解析用AIモデル「MobileNet V1」の場合、処理時間は3.1ミリ秒）を行うため、動画の1フレーム内で全ての処理が終わるという。

レジにおける商品や作業のリアルタイムトラッキング例 （クリックで拡大） 出典：ソニー

　ユーザーは、内蔵メモリに書き込まれたAIモデルを、任意のAIモデルに書き換えることができる。これにより、使用する環境や条件に合わせて処理機能を変更することが可能となる。一例として同社は店舗に設置されたカメラの使い分けを挙げた。入口に向けたカメラでは入店者をカウントする。棚に向けたカメラでは商品の欠品検知を、天井に設置したカメラでは来場者のヒートマップ検出を行うなど、AIモデルを変更すれば1種類のカメラで複数用途に活用できるという。

店舗内での活用事例 （クリックで拡大） 出典：ソニー

　新製品は、ベアチップ品「IMX500」とパッケージ品「IMX501」の2タイプを用意した。IMX500は既にサンプル品を出荷中で、サンプル価格（税別）は1万円。IMX501は外形寸法が12.5×15.0mmのセラミックLGAで供給する。2020年6月よりサンプル品の出荷を始める予定で、サンプル価格（税別）は2万円。