モノクロ赤外線画像を深層学習によってカラー画像に改善―夜間でもはっきり見えるカメラや、夜行性動物の生態観察に期待：産業技術総合研究所
図1 (提供：産業技術総合研究所)
（国）産業技術総合研究所 分析計測標準研究部門の永宗靖主任研究員は2月6日、赤外線カメラで撮った暗視画像（モノクロ）を一般的なカラー画像に近い状態に再現することに成功したと発表した。人間の脳活動を近似した人工ニューラルネットワークを組み込んだ深層学習によって実現した。
物質の色は、可視光領域で反射の影響を受けている。また赤外線領域の反射の影響との間にも、互いに関係があることが知られている。これを基に、赤外線画像から被写体の色を再現する可視光カラー化技術に挑んだ。
だが、可視光下と赤外線領域の反射の相関はあまり強くないため、完全な色の再現まではできなかった。そこで人間が普段処理している作業を、コンピューターに学習させる機械学習の手法（深層学習）を使って、赤外線画像をよりリアルな被写体の色で再現する可視光カラー化に取り組んだ。
今回は空間情報の特徴量を抽出して学習できる手法（CNN）と、時間の変化による情報を関連づけて扱う手法(RNN)を基に、輝度情報と色情報を同時に学習するモデルを作った。これによって色の再現性が大幅に改善され、リアルな被写体のカラー画像なみに改善できた。
産総研が開発した「赤外線カラー暗視カメラ」のように、赤外領域に特殊な分光特性を持たせたカメラで撮影すると、より情報量が多く学習効果を上げることができる。
従来の赤外線カラー画像では、赤外線の透過しやすい紙や布などの薄い素材にはカラー化が困難だったが、可視光画像を学ぶ教師画像として学習すれば赤外線モノクロ画像もカラー化ができるようになり、色再現性が格段に良くなる。
防犯カメラや監視カメラは、昨今の防犯意識の高まりで需要が増えている。しかし夜間撮影の従来の赤外線画像は、モノクロかせいぜい近似カラーであり、明確さに欠けていたことから、よりリアルな画像実現への期待が高まっていた。
深層学習による機械学習は、コンピューターの計算能力の向上や計算技法の進化によって言語、画像、音声、機械制御など幅広い分野で使われ、イラストやアニメの自動着色にも応用が進んでいる。
この技術に磨きをかけることで、より明確に映るセキュリティーカメラや夜行性動物の生態記録などへの応用が期待されている。
