深層学習で赤外線画像をカラー化、色再現性を改善：セキュリティカメラなどを想定

輝度情報と色情報を同時に学習するモデルを構築

　産業技術総合研究所（産総研）分析計測標準研究部門ナノ分光計測研究グループの永宗靖主任研究員は2020年2月、深層学習を活用して、赤外線画像を優れた色再現性でリアルタイムにカラー化する技術を開発したと発表した。視認性の高いセキュリティカメラや、夜行性動物の生態記録などへの応用を想定している。

　産総研はこれまで、赤外線照明だけを用いて被写体のカラー動画を撮影できる赤外線カラー暗視撮影技術を開発してきた。可視光領域の反射特性と赤外線領域の反射特性における相関関係に基づいた技術である。ところが、その相関関係は弱く、被写体の色を完全に再現するまでには至っていないという。

　そこで今回、深層学習を用い、赤外線画像をより完全に近い色で再現できる可視光カラー技術の開発に取り組んだ。具体的には、画像の特徴量を抽出して学習できるCNN（畳み込みニューラルネットワーク）と、時系列情報間の関連性を学習できるRNN（回帰型ニューラルネットワーク）をベースに、輝度情報と色情報を同時に学習するモデルを構築した。

　実験では、おわんやカップなどの被写体を、赤外線カットフィルターのない通常のカメラで撮影した。ここでは、赤外線を照射して得られた通常の赤外線画像を、CNNを基本とするモデルを用いて可視光カラー化した。こうして得られた画像は、従来に比べ色再現性が格段に改善されることが分かった。この時の変換時間も約30ミリ秒と極めて速い。

赤外線カットフィルターのない通常のカメラで撮影した画像 出典：産総研

　カラー画像に比べて学習に時間はかかるが、赤外線モノクロ画像を可視光カラー画像にすることも可能だという。従来の赤外線カラー画像だと、紙や布などの薄い素材は赤外線が透過しやすくカラー化が困難である。これに対し、可視光カラー画像を教師画像として用いた深層学習だと、赤外線モノクロ画像も高い色再現性でカラー化できることが分かった。

右下が開発した技術を用いてカラー化したカラーチャート画像 出典：産総研

　さらに、ターンテーブル上に赤色、緑色、青色のイーサネットコネクターキャップを載せ、回転中に動画を撮影する実験も行った。ここでは、約38秒の赤外線動画と、教師動画とする可視光動画の各1153コマを用いた。それぞれCNNモデルあるいは、RNNモデルにより学習させ、各学習済みモデルに赤外線動画を入力して、それぞれの赤外線カラー動画を得た。

（a）と（b）の画像において、左下はCNNモデルで赤外線動画を変換した赤外線カラー動画の1コマ、右下はRNNモデルで赤外線動画を変換した赤外線カラー動画の1コマ 出典：産総研

　産総研は今後、深層学習のモデルを高度化したり、ビッグデータによる学習を増やしたりすることで、画質の改善や色再現性の完成度をさらに高めていく予定である。