評価の方法として異なる背景二つを用い、11のテンプレートと3ノイズレベル (雑音なし、ガウス雑音・非線形雑音を2段階で加える)について計66回のテンプレート探索の結果を評価する。 移動±5画素以内、回転±5°以内、スケール±10%以内を正解として計数する。 また正解のものについては、2乗誤差平均を求める。
評価背景1(キャラクタパターン1) 評価背景1(キャラクタパターン2)
ノイズレベル0 class1_b1_n0_1.ppm
ノイズレベル0 class1_b1_n0_2.ppm
ノイズレベル50 class1_b1_n50_1.ppm ノイズレベル50 class1_b1_n50_2.ppm
ノイズレベル100 class1_b1_n100_1.ppm ノイズレベル100 class1_b1_n100_2.ppm
評価背景2(キャラクタパターン1) 評価背景2(キャラクタパターン2)
ノイズレベル0 class1_b2_n0_1.ppm ノイズレベル0 class1_b2_n0_2.ppm
ノイズレベル50 class1_b2_n50_1.ppm ノイズレベル50 class1_b2_n50_2.ppm
ノイズレベル100 class1_b2_n100_1.ppm ノイズレベル100 class1_b2_n100_2.ppm
| キャラクターパターン1 | キャラクターパターン2 |
|
usagi.ppm x = 50 , y = 170 inu.ppm x = 140 , y = 175 reoinu.ppm x = 300 , y = 65 tamago.ppm x = 260 , y = 175 yuurei.ppm x = 100 , y = 60 |
pengin.ppm x = 50 , y = 170 neko.ppm x = 145 , y = 175 saru.ppm x = 300 , y = 65 saboten.ppm x = 260 , y = 175 usamimi.ppm x = 70 , y = 60 usamimi2.ppm x = 200 , y = 80 |

評価背景1(キャラクタパターン1) 評価背景1(キャラクタパターン2)
ノイズレベル0 class2_b1_n0_1.ppm ノイズレベル0 class2_b1_n0_2.ppm
ノイズレベル1 class2_b1_n50_1.ppm ノイズレベル1 class2_b1_n50_2.ppm
ノイズレベル2 class2_b1_n100_1.ppm ノイズレベル2 class2_b2_n100_2.ppm
評価背景2(キャラクタパターン1) 評価背景2(キャラクタパターン2)
ノイズレベル0 class2_b2_n0_1.ppm ノイズレベル0 class2_b2_n0_2.ppm
ノイズレベル1 class2_b1_n50_1.ppm ノイズレベル1 class2_b2_n50_2.ppm
ノイズレベル2 class2_b2_n100_1.ppm ノイズレベル2 class2_b2_n100_2.ppm
| キャラクターパターン1 | キャラクターパターン2 |
|
reoinu.ppm x = 50 , y = 180 , scale = 0.9 inu.ppm x = 80 , y = 60 , scale = 1.1 usagi.ppm x = 150 , y = 170 , scale = 0.8 usamimi.ppm x = 260 , y = 150 , y = 1.3 usamimi2.ppm x = 200 , y = 50 , scale = 0.7 |
tamago.ppm x = 55 , y = 170 , scale = 0.9 pengin.ppm x = 80 , y = 50 , scale = 1.1 saboten.ppm x = 140 , y = 200 , scale = 0.8 neko.ppm x = 275 , y = 160 , scale = 1.3 saru.ppm x = 285 , y = 50 , scale = 0.7 yuurei.ppm x = 175 , y = 85 , scale = 1.0 |

評価背景1(キャラクタパターン1) 評価背景1(キャラクタパターン2)
ノイズレベル0 class3_b1_n0_1.ppm ノイズレベル0 class3_b1_n0_2.ppm
ノイズレベル1 class3_b1_n50_1.ppm ノイズレベル1 class3_b1_n50_2.ppm
ノイズレベル2 class3_b1_n100_1.ppm ノイズレベル2 class3_b1_n100_2.ppm
評価背景2(キャラクタパターン1) 評価背景2(キャラクタパターン2)
ノイズレベル0 class3_b2_n0_1.ppm ノイズレベル0 class3_b2_n0_2.ppm
ノイズレベル1 class3_b2_n50_1.ppm ノイズレベル1 class3_b2_n50_2.ppm
ノイズレベル2 class3_b2_n100_1.ppm ノイズレベル2 class3_b2_n100_2.ppm
| キャラクターパターン1 | キャラクターパターン2 |
|
usagi.ppm x = 65 , y = 121, scale = 0.8 , rotation = 11 neko.ppm x = 246, y = 143, scale = 1.1, rotation = 17 reoinu.ppm x = 175, y = 145, scale = 1.4, rotation = -12 tamago.ppm x = 200, y = 67, scale = 0.6, rotation = -25 usamimi2.ppm x = 70, y = 65, scale = 1.2, rotation = 16 |
pengin.ppm x = 292, y = 153, scale = 0.9, rotation = -18 saru.ppm x = 111, y = 91,scale = 1.6, rotation = -25 inu.ppm x = 65 , y = 151, scale = 0.8, rotation = 11 usamimi.ppm x = 250, y = 92 ,scale = 1.0, rotation = -6 yuurei.ppm x = 111,y = 170, scale = 1.3, rotation = -5 saboten.ppm x = 171, y = 162, scale = 0.8, rotation = 14 |
速度に関して5段階評価,アルゴリズムの新規性・有用性(汎用性,ロバスト性)10段階で評価し これを正解率(正答数/66)でを乗じたスコアで評価した. まずクラス3で上位3アルゴリズムを選択し, 入賞とした.そして,入賞アルゴリズムを除外して,クラス2の上位アルゴリズム3を選び, 最後にクラス1から上位2アルゴリズムを選択した.Best Score Awardは 各クラスの入賞の次点であったが, クラス2で全問正解,クラス1でも正解56とトップの正解率を評価し,特別に賞を設けた.
クラス1(平行移動の探索)では, 間引きや代表点を用いたテンプレートマッチングの簡略化が功を奏し, アルゴリズムK1, M1, D1は好成績をあげました.しかし,アルゴリズムの新規性,汎用性の評価が低く入選と することができませんでした. クラス1,2では全体的に,オーソドックスなテンプレートの階層的な探索や 色ヒストグラムを用いた手法が好成績を上げました. この中で,アルゴリズム改良に進歩性のあるものを入賞として 選んでいます.全般的に,これまで歴史のある標準的な手法が上位を占める中で,クラス3では,入賞者全員が 色情報に基づく領域分割と部分領域の配置関係による探索の絞り込み(パラメータ推定)という共通した手法で 応募されていました. いずれも独創的であり,標準的な手法よりも優れた性能を示したことは特筆すべき事です. 冒頭に応募アルゴリズムを照会したように,色による領域分割と部分領域間の対応から探索(ハフ変換), 多重解像度を利用したテンプレートのCoarse-To-fine探索,ガボールウェーブレットによる階層表現, 色ヒストグラムインターセクション,射影特徴の重畳による位置推定,固有空間での照合,領域のモーメント演算, 小領域の高次自己相関特徴の利用 など 非常に盛りだくさんで審査委員一同 応募者の熱意,創意工夫に感心しました. この中で,不幸にして選に漏れた応募者は,高度な内容のアルゴリズムを提案されているにもかかわらず, 評価実験で 性能が認められなかった ことをご理解ください. コンテスト募集のこれまでに寄せられた質問コーナーに 「モデルの画像(テンプレート)には このホームページデータ置き場にある11のキャラクタのみを用います.ただし,背景については データ置き場にある 背景 以外の画像でも評価します.したがって,『テンプレートにしかない物体の色を使って場所を特定する戦略』 が必ず成功する保証はありません.」とあります. また「探索結果の正確さ,雑音への頑健さ,異なる背景への適応力」を評価する とも述べています. 是非 出題者の意図を汲み取っていただき, 多くのテンプレート,雑音状態で 行い, 頑健な手法へと絞り込んでいただきたたかったと思います. 最後に,このアルゴリズムコンテストに応募してくれた22人の皆さんに感謝します. 夏の時間を プログラミングに費やした努力はいつか報われるでしょう. このコンテストが皆さんの, パターンを 探索することはどういことか, 頑健なアルゴリズムとは何か, 汎用的なアルゴリズムとはどうあるべきか, 良いアルゴリズムとはどういことなのか, を考える一助になってくれることを,コンテスト実行委員一同 希望しております.
ソサイエティ大会については,http://www.ieice.or.jp/jpn/societytaikai.htmlをご照会ください.
日時:1998年9月30日 13:00 〜 17:05
会 場:山梨大学〔甲府市武田4−3−11〕
N号館N-114講義室 (西側のキャンパス)
地図: http://www.yamanashi.ac.jp/
交通: JR中央本線、甲府駅下車。バス:甲府駅北口バス停から武田神社行き、または積翠寺行きに乗車、山梨大学前下車(約10分)。
徒歩:甲府駅北口から武田通りを武田神社方向へ徒歩 20分
式次第
司 会:栄藤 稔(松下電器).
コンテスト実行委員長挨拶 :末永康仁(名大)
入賞者の発表講演 25分×8件 (入賞者へは 旅費を支給)
特別講演「形状整合技術と産業応用(仮題)」 講 師:鷲見和彦(三菱電機).
入賞者表彰 :原 信太郎(原総合知的通信システム基金 理事長)
閉会の挨拶:大田友一(筑波大).