概要
この連載では、ToF（Time of Flight）システムの設計について解説していきます。Part 1となる今回は、まず連続波（CW：Continuous Wave）を使用するCMOSベースのToFカメラ技術の概要を説明します。その上で、マシン・ビジョンの用途において、従来の3Dイメージング技術に対し、ToF技術はどのような優位性を持つのかを明らかにします。更に、照明用のサブシステム、光学系サブシステム、パワー・マネージメント・システム、深度（depth）処理のアルゴリズムなど、システム・レベルのコンポーネントについて解説を加えます。なお、Part 2以降では、それらのコンポーネントについて、より深く掘り下げる予定です。
はじめに
マシン・ビジョンのアプリケーションでは、解像度の高い3D深度画像が使用されるケースが増えています。標準的な2Dイメージング技術を置き換える新たな技術を導入し、より高度／高性能の機能を実現しようということです。特に、人間の近くで機械が動作する状況でも安全性を保証できるようにするために、3Dカメラ（センサー）によって信頼性の高い深度情報を取得することが求められています。そうしたアプリケーションでは、反射率が高い面が存在する広い空間や、何らかの移動物体が存在する状況など、厳しい条件下でもカメラによって信頼性の高い深度情報を取得する必要があります。従来、多くの製品では、解像度の低いレンジ・ファインダ（距離計）型のソリューションによって、2Dのイメージング機能を拡張するための深度情報を提供していました。しかし、このアプローチには多くの制約があります。アプリケーションによっては、3Dの深度情報の解像度が高いほど大きなメリットが得られます。その場合、CWを使用するCMOSベースのToF（以下、CW ToF）技術が、市場で最も高い性能が得られるソリューションになります。高解像度のCW ToFシステムを採用すれば、表1に示したような特徴を持つシステムを実現することが可能になります。これらの特徴は、動画のボケ味や、顔認証、計測といった民生向けのアプリケーションの機能にも活かされています。また、運転者の覚醒度の監視、車室内の自動設定といった車載向けのアプリケーションでも活用されています。
| システムの特徴 | 実現に向けて考慮すべき要素 |
| 深度の精度／確度 |
|
| ダイナミック・レンジ |
|
| 使いやすさ |
|
| 屋外での動作 |
|
| 2D/3Dの融合 |
|
| マルチシステム動作 |
|
CMOSベースのCW ToFカメラ
深度カメラでは、各ピクセル（画素）からカメラとシーンの間の距離が出力されます。深度の測定は、カメラの光源から放射した光が反射面に到達し、カメラに戻ってくるまでの時間を計算することによって行います。この移動時間のことをToFと呼びます。
図1に、ToFカメラの概念図を示しました。同カメラは、以下に示すような要素によって構成されます。
- 光源：近赤外領域の光を放射します。VCSEL（Vertical Cavity Surface Emitting Laser：垂直共振器型面発光レーザー）やエッジ発光レーザー・ダイオードなどによって実現されます。最も一般的に使用される波長は 850nm と 940nmです。通常は拡散光源（投光照明）が使用されます。同光源は、カメラ前方のシーンを照らす特定の拡がり（照明野、FOI：Field of Illumination）を持った光線を放射します。
- レーザー・ドライバ：光源から放射する光の強度を変調します。
- ピクセルのアレイを備えるセンサー：各ピクセルによってシーンからの反射光を取得し、その値を出力します。
- レンズ：センサーのアレイに反射光を集めます（集光）。
- バンドパス・フィルタ：レンズと同じ位置に配置し、光源の波長（周波数）を中心とする狭い帯域幅外の光を除去します。
- 処理用のアルゴリズム：センサーから出力された未処理のフレーム・データを、深度画像または点群（ポイント・クラウド）のデータに変換します。
ToFカメラの光を変調する手法は複数存在します。簡単なのは、CW変調を使用することです。具体的には、デューティ・サイクルが50%の方形波変調を適用する方法などが考えられます。実際には、レーザーの波形が完全な方形波になることはまれです。むしろ、正弦波に近く見えることもあります。方形波のレーザーを使うと、所定の光出力におけるS/N比が高まります。但し、周波数の高い高調波を伴うことから、深度に非直線性誤差が生じることがあります。
CW ToFカメラでは、放射信号と反射信号（戻り信号）の間の時間差tdを測定します。そのためには、基本波間の位相オフセットΦ = 2πftdを推定する必要があります。深度は、位相オフセットΦと光速cから次式によって推定できます。
ここで、fmodは変調周波数です。
センサーが備えるクロック生成回路は、相補的なピクセル・クロックを生成します。このクロックは、2つの蓄電素子（タップAとタップB）における光電荷の蓄積処理に使われます。また、レーザー・ドライバにおけるレーザー変調信号の制御にも使用されます。変調された反射光（戻り光）の位相は、ピクセル・クロックの位相を基準として測定することができます（図1の右側を参照）。ピクセル内のタップAとタップBの差分電荷は、変調された反射光の強度と、ピクセル・クロックに対する同反射光の位相に比例します。
ToFカメラにおける測定は、ホモダイン検波の原理に基づき、ピクセル・クロックとレーザー変調信号の複数の相対位相を使って行います。得られた測定値を組み合わせることで、変調された反射光の基本波の位相を特定します。この位相が明らかになれば、光源から放射した光が対象物に到達し、センサーのピクセルに戻ってくるまでの時間を算出することができます。
高い変調周波数がもたらすメリット
現実の測定環境には、光子のショット・ノイズや、読み出し回路のノイズ、マルチパスの干渉といった要素が存在します。それらは、位相を測定する上で誤差の原因になる可能性があります。それらの誤差が深度の推定に及ぼす影響は、変調周波数を高めることによって軽減できます。
このことは、位相誤差εΦが存在するケースについて考えると理解が容易になります。つまり、センサーによって測定された位相がϕ̂ = Φ + εΦとなる簡単な例を想定するということです。この場合、深度の誤差は次式のように表されます。
つまり、深度の誤差は変調周波数fmodに反比例します（図2）。
この単純な式により、変調周波数が高いToFカメラでは、変調周波数が低いToFカメラと比べて深度のノイズが小さく、深度の誤差も小さくなることがわかります。
高い変調周波数を使用することには、1つの欠点があります。それは、位相のラップ（wrap around：最小値に戻って繰り返す）が速くなることです。つまり、曖昧さを伴うことなく測定できる範囲が狭くなります。一般に、この制限を回避するには、異なるレートでラップする複数の変調周波数を使用します。それにより、最も低い変調周波数では、曖昧さを伴わない広い測定範囲を実現できます。但し、（ノイズ、マルチパスの干渉などによる）深度の誤差は大きくなります。この誤差は、高い変調周波数を併用することによって低減できます。図3に示したのは、3種の変調周波数を使用する場合の例です。深度の最終的な推定値は、高い変調周波数ほど大きな重み付けを行って、各変調周波数におけるアンラップした位相の推定値を求めることで算出します。
各変調周波数に対する重み付けを最適に行うと、深度のノイズはシステムで選択した変調周波数のrms値（二乗平均平方根）に反比例します。深度のノイズのバジェットが一定である場合、変調周波数が高いほど積分時間または照明の出力を小さく抑えられます。
性能に重要な影響を与えるシステムの構成要素
高性能のToFカメラを開発するには、数多くのシステム機能について考慮しなければなりません。ここでは、それらのうち一部について簡単に触れておきます。
イメージ・センサー
イメージ・センサーは、ToFカメラの非常に重要なコンポーネントです。深度の推定は、バイアス、深度のノイズ、マルチパスのノイズなど、理想とは異なる要素が存在する条件下で実施することになります。それらによる影響の大部分は、システムの平均変調周波数を高くすれば軽減されます。そのため、イメージ・センサーについては、高い変調周波数（数百MHz）において高い復調コントラストを発揮できることが重要です。ここで、復調コントラストとは、タップAとタップBの間で光電子を分離する能力のことを指します。また、イメージ・センサーは、近赤外波長（850nm、940nmなど）において高い量子効率（QE：Quantum Efficiency）を実現できなければなりません。そうであれば、ピクセル内で光電子を生成するために必要な光出力を小さく抑えられるからです。更に、読み出しノイズが小さければ、遠方の物体や反射率の低い物体からの小さな反射信号を検出できます。つまり、カメラのダイナミック・レンジを高めることができます。
照明用のサブシステム
レーザー・ドライバは、VCSELなどの光源を高い周波数で変調します。所定の光出力に対してピクセルで対応できる信号量を最大化するには、立上がり／立下がり時間が短く、エッジがきれいな光の波形を実現しなければなりません。そのためには、照明用のサブシステムのレーザー、レーザー・ドライバ、プリント基板のレイアウトの組み合わせが非常に重要な要素になります。また、光の出力とデューティ・サイクルの最適な設定を見いだし、基本波の振幅（変調波のフーリエ変換で取得可能）を最大化するためには、いくつかの特性評価を行わなければなりません。更に、光は安全に放射／出力する必要があります。そのためには、いくつかの安全機構をレーザー・ドライバに組み込むか、またはシステム・レベルで組み込むことで、目の安全性（クラス1）を常に確保しなければなりません。
光学系サブシステム
ToFカメラにおいて、光学系サブシステムは非常に重要な役割を担います（図4）。ToFカメラでは、光学系の特別な要件を満たさなければならないからです。まず、最良の効率を得るために、光源の照明野はレンズの視野と一致している必要があります。また、集光効率を高めるために、レンズは高開口（F値が低い）でなければなりません。但し、開口が大きいと、口径食（ケラレ）が生じる、被写界深度が浅くなる、レンズの設計が複雑になるといったトレードオフが生じる可能性があります。また、バンドパス・フィルタの帯域幅を狭くするには、主光線角（CRA：Chief Ray Angle）の小さいレンズを採用する必要があります。そうすれば、周辺光の除去性能が高まり、屋外での性能が向上します。加えて、光学系サブシステムについては、所望の動作波長に合わせて最適化を図る必要があります。反射を防止するためのコーティング、バンドパス・フィルタの設計、レンズの設計などを最適化しなければならないということです。更に、光学系サブシステムでは、スループットの効率を最大化し、迷光を最小限に抑えなければなりません。光学的な位置合わせを最終的なアプリケーションの所望の公差内に収めるためには、多くの機械的な要件も満たす必要があります。
パワー・マネージメント・システム
高性能の3D ToFカメラ・モジュールを設計する上では、パワー・マネージメント・システムも非常に重要な要素になります。ToFシステムでは、レーザーの変調やピクセルの変調により、高いピーク値を持つ短時間のバースト電流が生成されます。このことから、パワー・マネージメント・ソリューションにはいくつの制約が課せられます。センサーICのレベルでは、イメージ・センサーのピークの消費電力を低減するのに役立つ機能がいくつか提供されています。また、システム・レベルで適用できるパワー・マネージメント手法も存在します。それらは、電源（バッテリやUSBなど）に対する要件の緩和に役立ちます。通常、ToFセンサー用のメインのアナログ電源としては、優れた過渡応答性能を備える低ノイズのレギュレータを使用する必要があります。
深度処理用のアルゴリズム
システム・レベルの設計の中で大きな部分を占めるもう1つの要素は、深度処理用のアルゴリズムです。ToFイメージ・センサーから出力されるのは未処理のピクセル・データです。したがって、それらのデータから位相の情報を抽出する必要があります。そのための処理には、ノイズのフィルタリングや位相のアンラッピングといった様々なステップが含まれます。位相のアンラッピングを行った後の出力は、レーザーから放射された光がシーンに到達し、ピクセルに戻ってくるまでの経路の長さを測定した値になります。この値は、距離あるいはラジアル距離と呼ばれます。
一般に、ラジアル距離は点群の情報に変換されます。つまり、特定のピクセルで取得した情報を実世界の座標（X、Y、Z）で表現するということです。多くの場合、最終的なアプリケーションでは、完全な点群ではなく、深度マップ（Z方向の画像のマップ）だけを使用します。ラジアル距離を点群に変換するには、レンズの固有パラメータと歪みパラメータの値が必要になります。それらの値は、カメラ・モジュールにおける幾何学的なキャリブレーションの実行中に推定することができます。また、深度処理用のアルゴリズムでは、アクティブ式の輝度画像（レーザーの反射信号の振幅）、パッシブ式の2D IR画像、信頼水準などの情報を得ることも可能です。それらは、すべて最終的なアプリケーションで使用することができます。深度処理は、カメラ・モジュール自体で実行することが可能です。あるいは、システム内の別の場所にあるホスト・プロセッサで実行することもできます。
ここまでに取り上げたシステム・レベルのコンポーネントの概要を表2にまとめました。これらについては、Part 2以降で詳しく説明します。
| システム・レベルのコンポーネント | 求められる事柄 |
| イメージ・センサー | 解像度／復調コントラスト／量子効率／変調周波数が高い、読み出しノイズが小さい |
| 照明用のサブシステム | 光出力／変調周波数が高い、目の安全性を確保する機能を備える |
| 光学系サブシステム | 高い集光効率、最小の迷光、狭い帯域幅 |
| パワー・マネージメント・システム | 低ノイズ、優れた過渡応答、高効率、 大きなピーク電力の供給 |
| 深度処理のアルゴリズム | 低消費電力、様々な種類の深度情報の出力 |
まとめ
CW ToFカメラは、質の高い3D情報を必要とするアプリケーション向けに高い精度の深度情報を提供できる強力なソリューションです。但し、最高レベルの性能を確実に達成するためには、多くの事柄について考慮しなければなりません。例えば、イメージ・センサーのレベルでの性能は、変調周波数、復調コントラスト、量子効率、読み出しノイズなどによって決まります。照明用のサブシステム、光学系サブシステム、パワー・マネージメント・システム、深度処理用のアルゴリズムなどについても、システムのレベルでの考察が求められます。これらのコンポーネントは、極めて精度の高い3D ToFカメラ・システムを実現するためには不可欠なものです。システム・レベルの検討事項については、Part 2以降の記事で詳細に解説します。
アナログ・デバイセズが提供するToF製品については、analog.com/jp/tofをご覧ください。
