スマホ写真をもっとくっきりはっきりに！ Dolbyが高画質化技術を開発：ディスプレイ技術 画像処理

　Dolby Laboratories（ドルビーラボラトリーズ）とモルフォは、スマートフォンやタブレットPCで撮影した写真を対象にした高画質化技術を開発した。モルフォが開発した「ハイダイナミックレンジ（HDR）合成技術」と、JPEGと後方互換のあるDolbyの新たな画像フォーマットを組み合わせたもの。

　この技術を使えば、イメージセンサーのハードウェア性能を超える高いダイナミックレンジの写真を合成し、その合成写真を高い分解能を維持したまま保存できる。一般消費者は、既存のJPEG画像と同じ使い勝手で、より明瞭(めいりょう)で鮮やかな高画質の写真を楽しめることになる。

　Dolbyは、デジタルオーディオの分野で展開する既存事業と同じように、開発した高画質化技術をIPとして端末メーカーに提供する^＊1）。「既に数社が評価作業に入っており、2012年末までには同技術を採用した機種が商品化されると見込んでいる」（Dolby）。

左の写真は、今回開発した高画質化技術を適用する前。右の写真は、高画質化技術を適用した後。写真の任意の位置（画素）を指定すると、その指定した画素の輝度を基準に全体のダイナミックレンジを最適化する。

既存のハイダイナミックレンジ合成には課題あり

　写真や画像をめぐるスマートフォンやタブレットPCの開発競争は、高画素数から高画質の競争へと移りつつある。そこで、ここ最近注目を集めているのが、画像の最も暗い画素から最も明るい画素の輝度範囲（ダイナミックレンジ）を広げる画像処理技術である。

　ダイナミックレンジを広げるには、写真を撮影するイメージセンサーそのものの性能を向上させればよい。しかし、スマートフォンやタブレットPCといったモバイル機器では、部品コストや実装スペースの問題があり、実現は難しい。そこで、露出の異なる複数の写真を撮影し、ソフトウェア処理で合成する技術が広く使われている。これをハイダイナミックレンジ合成技術と呼ぶ。

　ただ従来は、写真を撮影するタイミングのぶれに弱いことや、せっかくダイナミックレンジを広げた合成画像を、分解能を落として保存する必要があるといった課題があった。具体的には、一般に広く画像フォーマットとして使われているJPEG形式では、各色が8ビットの分解能で画像が保存されている。従って、多重露出させたHDR撮影でダイナミックレンジを16ビット超に広げた写真を合成できたとしても、「トーンマッピング」という手法で、各色8ビット分解能に情報を落として保存していた。

左は、各社のハイダイナミックレンジ（HDR）合成技術の比較。Dolbyとモルフォは、撮影時のぶれに強く、高い分解能のままHDR画像を保存できる技術を開発した。右は、既存のHDR合成技術の課題をまとめたもの。

HDR合成画像をベース画像と差分画像に分けて保存

　そこでDolbyとモルフォは、これらの課題を解決を図った高画質化技術を開発した。まず、モルフォが開発したのは、ぶれに強いHDR合成技術である。「位置合わせ機能」や「ゴースト除去機能」といった機能によって、手ぶれしたり、被写体がぶれた状況でも、高い画質でHDR合成できるようにした。現在は、HDR合成した画像を16ビットの分解能で出力するが、将来的には32ビット出力にも対応する予定である。

　一方のDolbyは、JPEGと互換性を保ったまま、16ビットを超える高い分解能で画像を保存・再生できる画像フォーマットを開発した。具体的には、合成されたHDR画像を独自アルゴリズムでエンコードし、既存のJPEG形式として取り扱えるべース画像と、通常は捨てられてしまう残差画像（輝度比率や色差で構成）に分けて保存する。この2つの画像を再度、デコードすれば、分解能が16ビットを超える高い分解能のHDR画像を再生できることになる。それでいて、ファイル容量は一般的なJPEG形式の1.2〜1.3倍程度にしか増えないという。

撮影から保存、表示までの画像処理の流れ　モルフォが開発したHDR合成技術で画像を合成。それを、Dolbyの独自アルゴリズムのエンコーダで処理し、保存する。

新たに開発したDolbyの新フォーマットの仕組み　合成されたHDR画像を、既存のJPEG形式と同等のベース画像と、今までは捨てられていた情報に相当する残差画像に分けて保存する。こうすることで、分解能が16ビットを超えるHDR画像を、JPEG互換で保存・表示できるようにした。

　同社は、JPEG形式をハイダイナミックレンジに拡張した「JPEG-HDR」技術を有していた。今回、HDR画像をベース画像と残差画像に分けて保存するというコンセプトはそのままに、スマートフォンやタブレットPC向けにカスタマイズした。