カラー画像と近赤外線画像を同時に撮影可能なイメージングシステムを開発―次世代画像センシングに向けオリンパスと共同開発―

要点

• カラー画像と近赤外線画像を同時に撮影可能なイメージングシステムを開発―次世代画像センシングに向けオリンパスと共同開発―
• 撮像データをリアルタイムで処理する画像処理システムの開発
• カラー画像と近赤外線画像を同時に撮影可能なプロトタイプシステムの開発

概要

国立大学法人東京工業大学工学院　システム制御系の奥富正敏教授らと、オリンパス株式会社技術開発部門は、カラー画像と近赤外線画像を1つの撮像素子で同時に撮影可能なイメージングシステムのプロトタイプを開発した。

近年、カラー画像と近赤外線画像を利用したコンピュータビジョンおよび画像処理技術応用の発展が著しく、これらの画像を同時に取得したいという要望が高まっている。本システムでは、可視光（カラー情報）と近赤外光を同時に撮像可能な撮像素子および撮像データをリアルタイムで処理する画像処理システムを開発することで、1つの撮像素子によるカラー画像と近赤外画像のリアルタイム同時撮影を実現した。

本システムは、次世代の画像センシング技術として、リモートセンシング、セキュリティ、ロボティクス、農業、医療等の幅広い分野への発展が期待される。

プロトタイプシステムは、6月8日（水）からパシフィコ横浜で開催される「第22回画像センシングシンポジウム（SSII2016）」および6月27日（月）から米国ラスベガスで開催される「29th IEEE Conference on Computer Vision and Pattern Recognition (CVPR2016)」でデモンストレーション展示される。

背景技術

現在広く普及する汎用カラーデジタルカメラやスマートフォンのカメラでは、単板撮像素子とカラーフィルターアレイ（CFA）を用いた撮影技術が広く採用されている。CFAは、R、G、B、それぞれのカラーフィルターをアレイ状に配置したものであり、現在多くのカラーデジタルカメラでは、図1に示すベイヤーCFA^[用語1]が採用されている。CFAは撮像素子上に装着され、撮像素子の各画素ではRGBのうちの1つの画素値のみが記録されるため、CFAを通して得られるデータはモザイクデータとなる。フルカラー画像は、撮像素子により得られるモザイクデータに対し、デモザイキング処理^[用語2]と呼ばれる補間処理や、色補正等の画像処理を行うことにより生成される。これにより、現在の汎用カラーデジタルカメラやスマートフォンのカメラでは、1つの撮像素子による安価で簡便なカラー画像撮影を実現している。

図1. 単板撮像素子とベイヤーCFAを利用したカラー画像撮影

カラー画像と近赤外線画像の同時撮影への拡張

近年、カラー画像だけでなく、近赤外線画像を利用したコンピュータビジョンおよび画像処理技術応用の発展が著しく、可視光と近赤外光の画像を同時に取得したいという要望が高まっている。例えば、近赤外線カメラでは、近赤外光を照射することで夜間撮影が可能であることから、車載カメラや監視カメラ等において、カラー画像と近赤外線画像を同時利用した環境認識や防犯対策が期待されている。しかし、現在のカメラは、カラー画像または近赤外線画像のどちらか一方のみを撮影するものが一般的であり、カラー画像と近赤外線画像を同時撮影するには、複数台のカメラ等の大掛かりなシステムが必要となる。一方で、システムの小型化を目指し、上述する単板撮像素子とCFAを利用した撮影技術を拡張することで、カラー画像と近赤外線画像を同時に撮影する方式に関する研究が近年行われている。この方式では、CFA中に、近赤外線フィルターを加えることにより、カラー画像と近赤外線画像の同時撮影を実現する。図2はその一例を示しており、Nと記載された画素が、近赤外線フィルターに対応する。この方式は、従来のカラーデジタルカメラやスマートフォンのカメラと原理的にサイズやコストがほぼ同じなため、実用化へ向けた期待が大きい。ただし、近赤外線フィルターを有するCFAや各種画像処理アルゴリズムの新規設計が必要となり、これら全体を考慮した高画質なイメージングシステムの開発が課題になっていた。

図2. 単板撮像素子によるカラー画像と近赤外線画像の同時撮影

開発システム

本研究開発では、上述する単板撮像素子とCFAを利用した方式により、高画質なカラー画像と近赤外線画像を同時に撮影可能なイメージングシステムのプロトタイプを開発した。図3に開発したプロトタイプシステムの概要を示す。このシステムは、新規開発した近赤外線フィルターを有するCFAを備える撮像素子および撮像データをリアルタイムで処理する画像処理システムにより構成される。画像処理システムでは、デモザイキング処理、色補正処理等の各種画像処理をリアルタイムで行い、撮影したカラー画像と近赤外線画像を、同時にリアルタイムでディスプレイ出力可能である。

図3. 開発したプロトタイプシステムの概要

単板撮像素子を用いたカラー画像と近赤外線画像の同時撮影では、CFAの配置と画像処理アルゴリズムの設計が、高画質な画像を得るための鍵となる。そこで、本研究開発では、高画質な画像生成の実現のため、図3中に示す新しいCFAの配置およびデモザイキング処理[文献情報2]を同時に提案することで、高精度なイメージングシステムを実現した。

開発システムは、次世代の画像センシング技術として、リモートセンシング、セキュリティ、ロボティクス、農業、医療等の幅広い分野への発展が期待される。

今後の展開

現在のシステムはプロトタイプのため、今後は実用化に向けたシステム設計やカメラモジュールの開発を行い、応用展開を図る。

謝辞

本研究開発の一部は総務省戦略的情報通信研究開発推進事業（SCOPE）（受付番号141203024）の委託を受けたものである。