形状及び色特徴を用いた安全運転支援システムのための信号機検出処理

FrontPage

形状及び色特徴を用いた安全運転支援システムのための信号機検出処理 †

はじめに †

交通事故には,自動車のドライバーの認知・判断の遅れが原因で起こるものがある. これを未然に防ぐために安全運転支援システムの開発が行われている.
このシステムではカメラで自動車の前方を撮影し, 画像処理で状況を解析することによりドライバーに注意を促す.
システムでの検出すべき対象には歩行者や障害物,車線や標識,信号機などがあるが 今回はその中でも信号機について着目し,その検出について考える.
信号機には「共通の形である」こと,「常に同じ色で発光する」という2つの特徴がある. そこでこれら2つの特徴から

1. 形状特徴による検出方法
2. 色情報による検出方法
   という2つの手法を提案する.

提案手法 †

形状による検出方法 †

形状特徴による検出には一般に物体認識や検出などに用いられるSIFT（Scale Invariant Feature Transform）というアルゴリズムを使用する. このSIFTは、画像上の特徴点と呼ばれる物体の角や交点などの画像中の特徴となる点の検出を行う.

画像の対応はもう1枚別に特徴点を検出した画像と2枚の対応をとることで行う.
特徴点には周囲の画素の情報も含まれているため1枚目の画像から2枚目の画像の特徴点と似た特徴点を求めることができる.
従って信号機の画像にSIFTを適用すれば信号機検出ができる,というのが本手法である.

検出は信号機の部分のみが写っている画像をリファレンス画像,背景を含んだ信号機の画像を入力画像として2枚の画像のマッチングによって行う.

図2は特徴点が検出された信号のリファレンス画像と入力画像である. 入力画像から,リファレンス画像から検出された特徴点に似た情報を持つ特徴点を探索する.

色情報による検出方法 †

本手法は以下の流れで検出を行う.

1. 色の表現方法の変換
2. 特定色の抽出
3. 形状の修正
4. 形状判定
   

まずはじめに色の表現方法の変換を行う. 今回はHSV表色系という色相(H), 彩度(S), 明度(V) から構成される色の表現方法の一種を用いる.
ここで色相は赤や緑といった色の種類, 彩度は鮮やかさ, 明度は明るさを表し,それぞれ色相が0～360,彩度が0～255,明度が0～255という範囲で値をとる.

この表現方法を用いて次に特定の範囲の色情報を持つ画素値を抽出する. ここで実際の信号機は高い位置に設置されており, また検出に用いる画像を走行中のものとすると, 画像の下半分には道路が映るため, 信号機は画像の上半分にあると考えられる.
従って抽出を行う範囲は画像の上半分とし抽出を行う. また,抽出には表1の値を用いる.

以上より特定の範囲の色情報を持つ画素値の抽出を行うことができる.しかし抽出しただけの画像ではまだノイズが多いままである. 信号機の発光部分は比較的大きい領域であると考えられるため, ノイズ除去を行い形状の修正をする.

そして修正を行った画像中の各領域について形状の判定を行う. 各領域の面積と周囲長の値から円形度という以下の式で表されるどれだけ円に近いかを表す値を求める.

そして求めた各領域の円形度から一番円に近い領域をみつけ検出を行う. 図3は各段階での画像の処理の様子を表す.

実験 †

実験方法 †

今回, 実験画像群として市街地を自動車で走行した際撮影した画像を用いた. なお, 信号機を含まないものは除外してある.
画像の解像度は1920×1080だが,960×540に縮小して使用した.

形状特徴による検出方法 †

形状特徴による検出実験は, 以下の画像を用いて行った.

• リファレンス画像： 実験画像群から信号機部分を切り出した画像2枚
  
• 入力画像　 　　　： 実験画像群から青信号が写っている画像43枚
  また, 入力画像の青信号の画像はすべて違う場所で撮影されたものである. そしてこの2枚のリファレンス画像それぞれに対してどの程度マッチングできるのか実験を行った.

色情報による検出方法 †

色情報による検出実験は, 以下の画像を用いて行った.

• 入力画像 : 実験画像群から青信号が写っている画像708枚, 赤信号が写っている画像552枚
  そして入力画像1260 枚に対して青信号, 赤信号それぞれの検出を行い,検出後にどれだけ正しく検出できたか検出率を求める.また,検出率を以下のように定義する.
  

実験結果 †

形状特徴による検出方法 †

図4はリファレンス画像の画像である.左側が1,右側が2である.
それぞれのリファレンス画像に対して実験を行った結果を以下に示す.

色情報による検出方法 †

以下に正しく検出できた例2 枚とできなかった例(未検出・誤検出各1 枚) を示す.

これらの結果を用いて検出率を求めた結果を表にしたものを以下に示す.

考察 †

形状特徴による検出方法 †

リファレンス画像1で実験を行った結果,入力画像1とは正しくマッチングをすることができた. しかしこれはリファレンス画像1は入力画像1を元に作成した画像であるからであり,
入力画像2ではマッチングした箇所は無く,入力画像3ではマッチングした箇所はあったがミスマッチングしてしまった箇所もあった.
入力画像をそのままにリファレンス画像2で実験を行った結果,こちらはどの画像でもマッチングした箇所以上にミスマッチングしてしまった箇所の数が多くなってしまった.
従って実験結果から,形状特徴による検出方法では安定した結果は得られなかった.
この安定しない理由としてはリファレンス画像から検出できる特徴点の数が少ないからだと考えられる.
特徴点の数が少ない理由には信号機の形状が単純であることが挙げられる.

色情報による検出方法 †

青信号 †

青信号の検出率は赤信号よりも低い結果になった.表2を見ると青信号の誤検出数が825枚と正答数の約2倍の枚数であることがわかる.
青信号の検出率の低さの原因について調べたところ,誤検出の大半が図8のように青信号ではなく空を信号として検出してしまっていることがわかった. これは青信号の色と空の色情報が似ているためである.
また,その他の原因である未検出については逆光のような環境での画像が検出されなかった.
この場合, 逆光によって信号の色が暗くなってしまい, 信号として判定されなかったと考えられる.

赤信号 †

赤信号の検出率は8割近くと良好な結果を得られた.今回の実験では車のブレーキランプなどの誤検出はほとんど無かった.
これらは画像中の中央から下辺りに存在しており, 今回の信号の抽出を行う範囲は画像の上半分なのでブレーキランプなどは範囲に含まれないためである.
また, 誤検出の主な原因は標識や看板などであった.これは青信号と同様, 標識や看板が信号の色と色情報が似ているため検出されてしまったと考えられる.
また, 赤信号の未検出の原因については信号の発光部分が色の抽出の範囲外にある場合や信号が小さすぎて形状判定を行う時点で除外されるような場合が考えられる.

まとめ †

2つの手法についてプログラムで実装し実際に信号機の検出を試みた結果, 形状特徴による検出方法では安定した結果を得ることはできず, この方法での信号機の検出を行うことは現状では難しいという結果になった.
一方, 色情報による検出方法では青信号の検出率が4割以下になってしまったが赤信号の検出率は8割近くと安定した結果を得られた.
以上のことから色情報による検出方法の方が信号機検出には向いていることがわかった.
このような結果から,今後の課題としては色情報による検出方法での, 特に誤検出と未検出に対する処理が挙げられる.
その具体的な内容としては画像中に空や看板, 標識など信号機の色と同じ色の範囲を持つ領域がある場合, 逆光などにより色の明るさが変化する場合, 信号の色が指定した色相の値の範囲にない場合の3つがあげられる.

参考文献 †

[1] 尾崎信行, 　宮森高, 谷口恭弘, "安全運転支援システム", 東芝レビューVol.66 No.2(2011).
[2] 梅澤登志矢, 江口一彦, "夜間動画像からの道路交通信号認識技術の研究", 愛知工業大学研究報告, 第43 号,Mar,2008
[3] 藤吉弘亘, "一般物体認識のための局所特徴量(SIFT とHOG)", PCSJ/IMPS2008 ナイトセッション, 2008.
[4] 高木雅成, 藤吉弘亘, "SIFT 特徴量を用いた交通道路標識認識", 第13 回画像センシングシンポジウムSSII07, LD2-06, 2007.
[5] OpenCV-1.1pre リファレンスマニュアル, "http://opencv.jp/opencv-1.1.0/document/"
[6] イメージングソリューション, "http://imagingsolution.net/"
[7] 警察庁, 統計, "http://www.npa.go.jp/toukei/index.htm"