領域分割処理に基づくワイドダイナミックレンジ画像合成プロセッサの開発

現在のディジタルカメラやビデオカメラなどの、固体撮像素子を用いたカメラシステムの多くは、逆光状態などの究極的に明暗の差が大きい場面の撮影において、低照度部の黒つぶれや高照度部の白つぶれが生じる.本研究では、露光時間の異なる複数枚の画像から、印画紙はもちろんのことディスプレイなど階調数が制限されている表示デバイスで、どの撮影状況下でも黒つぶれや白とびがなく、不具合を感じない画像合成アルゴリズムを用いたワイドダイナミックレンジカメラの開発を目的としている.本年度は、昨年度検討したグレイスケール画像に対するワイドダイナミックレンジ画像合成アルゴリズムを基に、(1)ベイヤー配列の単板カラーイメージセンサを用いて、ワイドダイナミックレンジの輝度信号のみの合成画像と、各画素の色補間の情報をそれぞれ求め、カラー化する方式、(2)昨年度のワイドダイナミックレンジ画像合成アルゴリズムのハードウェア化について検討した.ハードウェア化については演算回路を含め全てフルスクラッチで設計する計画であったが、異なる露光時間の信号が採用される境界部分において複雑な演算が必要となり、C言語で記述したアルゴリズムをHDLに変換する上位設計ツールを利用して、画像合成プロセッサをハードウェア化した.これを、グレイスケールのワイドダイナミックレンジCMOSイメージセンサが搭載された、テストカメラ上に配置されているFPGA上に組込みVGA画像で15fpsのワイドダイナミックレンジ動画が合成できることを確認した.15fpsのフレームレートは、イメージセンサの動作条件によるもので、30fpsのフレームレートでもワイドダイナミックレンジ動画が合成できるものと思われる.

現在のディジタルカメラやビデオカメラなどの、固体撮像素子を用いたカメラシステムの多くは、逆光状態などの究極的に明暗の差が大きい場面の撮影において、低照度部の黒つぶれや高照度部の白つぶれが生じる.本研究では、露光時間の異なる複数枚の画像から、印画紙はもちろんのことディスプレイなど階調数が制限されている表示デバイスで、どの撮影状況下でも黒つぶれや白とびがなく、不具合を感じない画像合成アルゴリズムを用いたワイドダイナミックレンジカメラの開発を目的としている.本年度は、昨年度検討したグレイスケール画像に対するワイドダイナミックレンジ画像合成アルゴリズムを基に、(1)ベイヤー配列の単板カラーイメージセンサを用いて、ワイドダイナミックレンジの輝度信号のみの合成画像と、各画素の色補間の情報をそれぞれ求め、カラー化する方式、(2)昨年度のワイドダイナミックレンジ画像合成アルゴリズムのハードウェア化について検討した.ハードウェア化については演算回路を含め全てフルスクラッチで設計する計画であったが、異なる露光時間の信号が採用される境界部分において複雑な演算が必要となり、C言語で記述したアルゴリズムをHDLに変換する上位設計ツールを利用して、画像合成プロセッサをハードウェア化した.これを、グレイスケールのワイドダイナミックレンジCMOSイメージセンサが搭載された、テストカメラ上に配置されているFPGA上に組込みVGA画像で15fpsのワイドダイナミックレンジ動画が合成できることを確認した.15fpsのフレームレートは、イメージセンサの動作条件によるもので、30fpsのフレームレートでもワイドダイナミックレンジ動画が合成できるものと思われる.