FrontPage

天候・照明変化に対して堅牢な画像照合方法の評価

はじめに

画像照合は様々な場面で使用されているが、用途の一つに自律走行ロボットの自己位置推定がある。ロボットが走行する際にはあらかじめ画像を記憶させておき、自律走行時には現在のカメラ画像と記憶画像を画像照合させることで、自己位置を確定させる。

navigation_example.jpg
図1:自律走行のイメージ

しかし、このような撮影時期が異なる画像を照合するには、天候・照明条件が変化しても安定して照合できる照合方法が必要である。

研究目的

自律走行ロボットが画像照合を用いて自己位置推定を行うには、様々な天候・照明条件のもとで安定して結果が得られることが求められている。本研究では画像照合方法の一つであるテンプレートマッチングに焦点を絞って実験し、天候・照明変化に対して堅牢な(ロバストな)画像照合方法を評価した。

画像照合方法の評価手法

テンプレートマッチング

テンプレートマッチングとは、入力画像とテンプレート画像を比較しながら照合を行い、類似度もしくは相違度を計算し、その数値からマッチング対象を検出する手法である。

template-matching.jpg
図2:テンプレートマッチング

マッチングアルゴリズム

テンプレートマッチングにはいくつかのマッチングアルゴリズムがあるが、今回評価したのは以下の4つのアルゴリズムである。

  • SSD(Sum of Squared Difference)
    入力画像とテンプレート画像の画素値の差の二乗和を使って相違度を求める手法
  • NCC(Normalized Cross-Correlation)
    入力画像とテンプレート画像の画素値の相互創刊を使って類似度を求める手法
  • ISC(Increment Sign Correlation)
    注目画素と隣の画素の画素値の大小関係に注目した手法
  • SRF(Sraristical Reach Feature)
    注目画素から一定の距離にある画素の画素値の大小関係に注目した手法

評価

本研究ではマッチングアルゴリズムのロバスト性、照合対象物のロバスト性を評価するために以下の2つの実験を行った。

  • 画像照合方法のロバスト性の評価実験
    入力画像と画像上の5ヵ所のテンプレート画像を、各マッチング手法を用いてマッチングさせ、成功回数をカウントすることで各マッチング手法のロバスト性を評価
  • 画像照合対象物のロバスト性の評価実験
    画像一枚の全体を一定のサイズに分割し、分割した画像全てを入力画像とマッチングさせ、成功回数をカウントすることで画像照合対象物のロバスト性を評価

実験

使用画像

使用した画像は6月9日から13日までの5日間の4:15から19:15までを1分毎に撮影した画像4500枚(640×512[pixel])を使用した。

0610_12_00.jpg
図3:使用画像例

[実験1] 画像照合方法の評価実験

  • テンプレート画像
    使用したテンプレート画像は2日目の画像から以下の5ヵ所を切り出して使用した。
    template1.jpg
    図4:テンプレート画像
    • 構造物のテンプレート
      構造物のテンプレートとして近くにある窓枠、遠くにある遠方の建物(校舎)、地面上の対象として道路標示(路面)を選出した。これらのテンプレートは主に直線成分で構成されており、画像中での構造は比較的単純である。
    • 自然物のテンプレート
      自然物のテンプレートとして近くにある木、遠くにある遠方の山を選出した。これらのテンプレートは細かな成分で構成されており、画像中での構造は比較的複雑である。
  • 実験結果
    以下に5日間のマッチング結果を示す。マッチングの成功判定は、検出した位置がテンプレートの位置からユークリッド距離で3[pixel]以内であれば成功と判定した。


0609.png
表1 6月9日のマッチング結果

0610.png
表2 6月10日のマッチング結果

0611.png
表3 6月11日のマッチング結果

0612.png
表4 6月12日のマッチング結果

0613.png
表5 6月13日のマッチング結果

total.png
表6 5日間のマッチング結果

結果からSSD、NCCは撮影日やテンプレートによってマッチング成功率に差が出ていて不安定であるが、ISCとSRFは全てのテンプレートで安定して高い成功率を示している事がわかる。よってISCとSRFは天候・照明変化に強いといえる。

[実験2] 画像照合対象物の評価実験

  • テンプレート画像
    使用したテンプレート画像は2日目の1枚の画像を100枚に分割して使用した。
    分割テンプレート.jpg
    図5:分割テンプレート画像
  • 実験結果
    以下に5日間のマッチング結果を示す。成功率が低い部分は青く、高い部分は赤く色付けしている。マッチングの成功判定は、検出した位置がテンプレートの位置からユークリッド距離で3[pixel]以内であれば成功と判定した。
    save_SSD.jpg
    図6:SSDのマッチング結果

    save_NCC.jpg
    図7:NCCのマッチング結果

    save_ISC.jpg
    図8:ISCのマッチング結果

    save_SRF.jpg
    図9:SRFのマッチング結果

画像右下部分では成功率が低くなっているが、これは駐車している車が撮影時間で変わっていたり、駐車していない場合があるためであり、これ以外の部分で評価した。NCCとISCではほぼ全ての部分で高いマッチング成功率が得られた。SSDとSRFでは山や木の部分ではマッチング成功率は低くなった。そして全てに共通して、校舎や窓枠部分では安定してマッチングできている。よって、画像照合の対象物として人工的な構造物が天候・照明変化に強いといえる。

考察

実験1では結果の表からSSD、NCCはISC、SRFと比較すると、路面に対してマッチング成功率が低くなっている。これは雨により路面に水たまりができ、道路上の模様が見えなくなってしまったことや晴れた際に影の影響で違う模様であると判断してしまったためと考えられる。また、昼と夜の路面を比べると明るさに大きな差があるが、この場合でもISC,SRFではマッチングに成功している

路面.jpg
図10:路面の状況

このことからISC,SRFは天候・照明変化に対して堅牢であるといえる。

しかし、実験1で安定して高いマッチング成功率を得られたSRFは、実験2においては山や木の部分で成功率が低くなっており、自然物を対象としてマッチングする場合は大きいテンプレートを使用する必要があると考えられる。

実験2において、校舎や窓枠などの構造物は自然物に比べて、全ての手法で高いマッチング成功率を示しており、天候・照明条件が変化する状況でも高いマッチング成功率が期待できる。

以上から天候・照明変化に対して堅牢な画像照合方法はISCを用いて構造物に対して画像照合させることだと言える。

まとめ

本研究では天候・照明変化に対するロバスト性を画像照合方法および画像照合対象物の観点から、テンプレートマッチングをつかって実験し、評価を行った。画像照合方法の観点からはISC,SRFが天候・照明変化に対して高いロバスト性を持ち、画像照合対象物の観点から人工的な構造物が高いロバスト性を持つことがわかった。しかし、SRFは自然物を対象に画像照合を行う場合には大きなテンプレートが必要であることが考えられる。

以上のことからISCを用いて構造物に対して画像照合させることが天候・照明変化に対して堅牢な画像照合方法だと言える。

参考文献

[1] 原田和茂,“テンプレートマッチング手法の天候・照明変化に対するロバスト性の評価”,群馬大学工学部情報工学科卒業論文,2012.
[2] 村瀬一朗,金子俊一,五十嵐悟,“増分符号相関によるロバスト画像照合”,電子情報通信学会論文誌,D-II,Vol. J83-D-II,No.5,pp. 1323-1331,2000.
[3] 尾崎竜史,佐藤雄隆,岩田健司,坂上勝彦,“統計的リーチ特徴法によるロバスト画像照合”,ViEW2008 ビジョン技術の実利用ワークショップ,pp. 191-196,2008.
[4] 金井克友,“画像照合による自律走行ロボットの自己位置推定”,群馬大学大学院工学研究科情報工学専攻修士論文,2010.
[5] 阿久津裕之,“テンプレートマッチング法のパターンの変形に対する耐性の実験的評価”,群馬大学大学院工学研究科情報工学専攻修士論文,2012.
[6] 画像処理ソリューション,“http://imagingsolution.blog107.fc2.com/blog-entry-186.html
[7] 田村秀行,“コンピュータ画像処理”,オーム社,2002.


添付ファイル: file路面.jpg 643件 [詳細] file0610_12_00.jpg 608件 [詳細] filenavigation_example.jpg 613件 [詳細] filesave_SSD.jpg 659件 [詳細] filesave_SRF.jpg 625件 [詳細] filesave_NCC.jpg 570件 [詳細] filesave_ISC.jpg 594件 [詳細] filetotal.png 571件 [詳細] filetemplate-matching.jpg 593件 [詳細] file0613.png 576件 [詳細] file0612.png 637件 [詳細] file0611.png 604件 [詳細] file0610.png 587件 [詳細] file0609.png 636件 [詳細] file分割テンプレート.jpg 692件 [詳細] filetemplate1.jpg 662件 [詳細]

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2013-03-19 (火) 12:27:31