画像処理研究の動向とRWC画像処理グループの活動

大阪大学 工学部 電子制御機械工学科 教授　白井良明

■はじめに

　画像処理の研究は年々盛んになっている。本年8月末にウィーンで開催されたICPR（パターン認識国際会議）では、700もの研究が発表された。以前、ICPRはあまりに大きくなり過ぎたということで、1987年からICCV（コンピュータビジョン国際会議）が開かれている。その後、ヨーロッパでECCVが、アジアでACCVが生まれ、いずれも成長している。本体のICPRも数年前から4分野に分かれ、それぞれにプログラム委員を置き、会議は同時に行うという形をとっているが、各分野の扱う範囲は広がり、プロシーディングスは年々厚くなっている。

　広範囲な画像処理を見渡すことは困難であるから、まず画像処理全体の傾向を概観し、RWCと関係が深そうな部分に焦点を絞り、研究動向を簡単に述べ、さらに、関連するRWCでの画像処理グループの活動を紹介する。なお、例示する図は簡単に入手できるものを用いているので、必ずしも最適のものとは限らない。

■計算力アップによる画像処理研究の変化

　画像処理は、文字認識や顕微鏡写真の解析のようにオフラインで行うものと、ロボットが物体の位置を検出して掴むというように、リアルタイム（あるいはオンライン）で行うものに大別できる。理想的にはリアルタイムで直ちに処理をしたいが、計算力の制限のため、最近までは簡単な欠陥検査や既知物体の位置決めなどが実用化していたに過ぎなかった。

　ところが、計算力アップとともにリアルタイムで行える範囲が拡大した。例えば、動いている物体を検出して追跡したり、人の表情を認識して反応するシステムなどが試作されるようになった。リアルタイムであれば、人間に確認を取ったり人間に助けてもらうことができるので、時々間違えても使える分野が開けた。人のジェスチャの認識や、画像データベースから指定された内容の画像の候補を提示するなどである。

　画像は必ずしもシーンに関する十分な情報を含んでいない。そのために複雑な処理方法を考えることもできるが、最近は、より多くの情報を得ることで解決できる。多種類の情報を利用するセンサフュージョン、多種類の入力条件で情報を得ようとするアクティブビジョンなどが代表例である。

　従来のリアルタイム画像処理の主な応用は工場の自動化であったが、現在は、監視、CG（コンピュータグラフィクス）、画像圧縮（動画像圧縮）などに広がってきている。例えばCGでは、異なる方向からの数枚の画像から多数の方向からの画像を生成する試みが盛んである（MIT、INRIA（仏）、日本の会社など）。数枚の画像の対応する部分を求めておけば、実時間で画像が生成できる。現在は、人が対応点を与えたり、画像処理で自動的に行ってから人が修正したりすることが多い。完全自動化の研究も進められている。

■人の認識

　この数年間、人の顔やジェスチャを認識する研究が増えている。ICPRでも、"Looking at People"、"Face Detection and Recognition"というセッションがあるだけでなく、動き解析やニューラルネットのセッションでも人の追跡や顔の表情認識が取り上げられている。

　顔の認識はパターン認識の初期から行われているが、表情の動きや動いている人の顔を取り上げたのは、通信の分野が最初であった。顔の部分の動きが分かれば、伝送する情報を圧縮できる。さらに、表情やジェスチャが認識できれば、その結果だけを伝送し、受信した方で画像を合成できる。

　その後、コンピュータのインターフェイスとして、顔から人の認識、顔の向き、表情、目の向き、および手の動きなどを認識する試みが出てきた。RWCでも、顔の目や口の部分を検出したり、誰の顔かを認識したり、ジェスチャを認識したりする研究が進んでいる。

　さらに、手話認識（MITメディアラボや日立）やVR（バーチャルリアリティ）で用いるデータグローブの代用のために、人の手の指の動きをカメラで認識する試みが出てきた。まだ、精度と処理速度が十分でないが、応用によっては役に立つ。我々が行ったシルエット画像系列から手指の3次元姿勢を認識する例を図1（次頁）に示す。

図１ 手指のシルエットと認識結果

■情報統合によるロバストなビジョン

　画像処理の対象が、整備された工場から日常の実世界に移ると、種々の条件で機能するビジョンシステムが必要になる。このようなロバストなビジョンのためには、つぎのような種々のレベルの情報統合が必要である。

◆複数カメラからの情報統合

　たとえば、2つのカメラによるステレオ視は人間の両眼視にヒントを得ているが、3眼視にすれば信頼性が高くなる。さらに進んで、CMUではカメラ6台を用いる多眼視によって、実時間で立体視を行うシステムが作られている。さらに、カメラを連続的に動かしてステレオ視を簡単にするといういわゆるアクティブビジョンも提案されている。

　動くものを追跡する場合も、多数の場所にビジョンシステムを配置し、それぞれの情報処理結果を通信することによって、いつもどれかのシステムがよい条件で対象の画像を得るようにする分散カメラシステムもある。

　RWCでは、図2のように、カメラ9台による立体視によって距離情報を求める研究を行っている。普通のステレオ視では、距離が不連続なところでは、片方のカメラからは見えて他方からは見えないという場所ができるので、距離が求められないことが多い。しかし、多眼視により、不連続部分でも求められるようになった。距離が得られれば、同図のように見ている人の場所を検出して、そこで見える画像を生成することができる。視点を変えれば見え方が変わるので、立体視が可能となる。不連続部分は物体の輪郭であるので、人にとって重要な場所であり、この距離を求められることは効果がある。

　このほかRWCでは、複数のカメラを使い、画像の場所によって適切な焦点距離や絞りを得る研究も行っている。

図２ 多眼立体ディスプレイ

◆多種類のセンサ情報の統合

　ロボットがものを掴む場合、視覚情報と触覚情報を組み合わせれば動作が確実になる。人の認識に赤外線画像を使えば、顔や手の暖かい部分の抽出が確実になる。これらはセンサフュージョンといわれている。

　RWCでも、動いている複数の人を追跡するために、濃淡情報と動き情報を組み合わせたり、動き情報と距離情報を組み合わせたりしている。図3（次頁）に示す結果のように、動きや距離だけからは1人の人を分離できない場合でも、両方の情報を統合することによって追跡が可能になる。

図３ 動きと距離による複数の人間追跡

◆高レベルでの情報統合

　画像から対象に関する情報を得る場合、得られた情報がどれだけ信頼できるかを推定することが重要になる。もし、信頼性が十分であれば、その結果を結論とし、さもなければ、より多くの情報を得て信頼性を高めることができる。その場合、どの情報を得たらいいかを推定することができれば、より効率的である。対象が機械部品のように定義されていれば、信頼性を確率で表現することが比較的簡単である。しかし、屋外シーンの場合は対象の性質に幅があるため、何らかの確率モデルを仮定しなければならない。

　このようにして、移動ロボットが道路シーンと地図を照合する例を図4に示す。最初に得た画像(a)からは交差点の種類が明確に分からなかったが、その認識結果に基づいて右の道があるかどうかを見た結果(b)、十字路であることを認識している例である。

　さらに、時間や天候、影などに影響されやすい屋外シーンの色変化のモデルを作り、ロバストな認識を行う試みもある。

図４ 交差点の認識

■リアルタイムビジョン

　画像処理をリアルタイムで行う主な理由は以下のとおりである。

1. リアルタイムビジョンでないと実験ができない。

動く物体の追跡のように、ビジョンの結果を用いてカメラを動かし、再び画像を入力しなければならない。

2. 作業の途中で何回も見なければならない場合。

3. ヒューマンインターフェイスにビジョンを使う場合。

4. 動画像の蓄積や転送のための画像圧縮技術としてのビジョン。例えば、画像における動き（オプティカルフロー）を求める。

　最後は、マルチメディアの普及に必須の技術で、そのためにオプティカルフローを高速に抽出するLSIも開発されている。これは、従来の画像処理の方でも利用価値が大きい。

　リアルタイムビジョンにはどれだけの計算量が要るかを見積ってみる。画像は毎秒30フレーム、分解能256×256とし、各画素について、その近傍の10画素を参照して演算を行い、それが10段階で結果が出るとする。演算が乗算と加算1回ずつとしても、毎秒200万回の乗算と加算となる。スーパコンピュータで実現できるが、コストの問題がある。

　従来から、画像処理の高速化のために多くの画像処理専用装置が作られている。しかし、その処理内容が限られており、それ以外の処理を汎用コンピュータで行わせると、それがボトルネックになり、実時間処理ができなくなる。つまり、従来は既存の装置で実行できる処理だけが実時間処理されていた。

　たとえば、CMU、SRIインターナショナルなどでは、ステレオ視や動画像処理などの実時間システムを試作した。これらは専用のLSIを作っているので、コストのかかるものとなっている。

　より汎用性のあるものとして、データキューブを用いて実時間処理を行っているところは多い。これは低レベル処理に限られるため、柔軟性に欠ける。また、トランスピュータによって並列処理を行う試みもある。トランスピュータは汎用であるので、柔軟性は高いがコストパフォーマンスに問題がある。

　画像のように一様な大量のデータを処理するためには、複数のDSPが適している。DSP5個で画像内のオプティカルフローを求めるシステムも製作されている。さらにDSPを2個加えれば、オプティカルフローを用いて類似の動きをする領域を追跡することで、動物体をカメラで追跡することができる。研究されたアルゴリズムを実験で試してみるには、このような柔軟なシステムが必要である。

　そのために、画像処理に便利なように、画像メモリや信号の制御部を備えたDSPボードがあるとよい。なるべく多くの応用に使えるボードを作れば、多数の研究者が使え、それによってボードのコストを下げることができる。1994年にRWC画像グループがワークショップでDSPボードが必要であるという同意を得、1995年初めに共通的なボードの仕様を決め、RWCや文部省重点領域研究者の画像関係の研究者の注文をまとめ、第一次の製作を行った。ボードには、画像処理に適したDSP（TMS320C40）1個と、入力用メモリ、プログラムや作業用メモリと制御用FPGAが搭載されている。これと、画像信号のAD、DA変換を行うビデオボードを用いれば、ビデオ信号のデジタル処理ができる。

　昨年度末にDSPボードが製作され、現在それを用いたシステムが作られている。たとえば、上述の動物体の追跡はこのボードによって実現されている。さらに、動きだけでなく物体の距離も利用するために、図5のように、ステレオによって距離を計算するDSPボードを加えたシステムも開発されつつある。

　今後はソフトウェアの共通化を促進してプログラミングの効率を高めたい。RWCの画像処理研究をはじめとして、多数の研究結果が、このボードシステムによって実時間で実験されることを願っている。

図５ DSPボードを用いた動きと距離に基づく物体追跡システム