遮蔽されても影ができない全方位のダイナミックプロジェクションマッピング 運動物体に対して複数台の高速プロジェクタで動的に協調投影

東京工業大学 工学院 情報通信系の野元貴史、李万龍、彭浩倫、渡辺義浩准教授らは、複数台の高速プロジェクタが連携して、運動物体に遅れなく投影可能なダイナミックプロジェクションマッピング^[用語1]を開発した。

1台の高速プロジェクタを用いたダイナミックプロジェクションマッピングは既に実現していた。しかし、投影範囲が対象面の一部に限られる問題や、プロジェクタと投影対象の間に遮蔽物がある場合に影が生じる問題があった。一方で、複数台のプロジェクタを用いた構成では、各プロジェクタの投影画像を協調して生成するための問題を解く速度が遅く、運動物体に遅れなく投影することができなかった。

本研究では、各プロジェクタの投影画像を画素並列に生成する手法を新たに提案した。この手法では、動的な対象に遅れることなく、複数台のプロジェクタが連携して瞬時に投影できる。また、プロジェクタの台数が増えても遅延がわずかにしか増えないという利点がある。さらに、ネットワーク接続を介して高速プロジェクタを増やすシステム構成が可能である。本研究では、4台の高速プロジェクタを用いたシステムで、物体が動いてから投影までの遅延を9.5 ms（ミリ秒）に抑えられることを実証した。

本研究成果は、3月2日に論文誌「IEEE Transactions on Visualization and Computer Graphics」にオンライン掲載され、3月16日に国際会議「IEEE Conference on Virtual Reality and 3D User Interfaces 2022」で発表された。

映像投影によって物体の外観を仮想的に変化させるプロジェクションマッピングは、アミューズメント、舞台の演出、広告、作業支援など様々な分野に応用されている。近年では、物体を高速で認識するセンシングと、映像を高速で投影するプロジェクタの両者を連携させることで、物体の運動から投影までの遅延を数ミリ秒に抑えることが可能になった。これによって、運動物体に対して投影ずれを起こすことなく外観を操作するダイナミックプロジェクションマッピングが新たに実現された。

一方、このレベルの高速性を達成したダイナミックプロジェクションマッピングでは、1台の高速プロジェクタを用いたシステムしか実証されていなかった。このため、運動する物体表面の一部分にしかマッピングを適用できず、対象表面の全方位へのマッピングはできなかった。また、プロジェクタと対象の間に遮蔽物があった場合、投影映像が対象表面に届かず、影が生じる問題があった（図1）。

図1.

1台のプロジェクタでマッピングした場合の問題の例。写真左側から映像を投影している。一方向からしか投影していないため、物体の写真右側などの表面はマッピングが行えず、範囲が限定されている。また、写真左側の物体で遮蔽されて、写真中央の物体には映像が投影できず、影が生じている。

このような問題は、プロジェクタの台数を増やし、様々な方向から対象へ投影することで解決できる。ただし、複数台のプロジェクタが重複して同じ場所を投影する場合があるため、目標の外観を再現するためには、対象表面の各点に対してどのプロジェクタがどの輝度で投影すればよいかを、協調して決める必要がある。ダイナミックプロジェクションマッピングでは、対象が動くことで複数台のプロジェクタと対象の配置関係が刻一刻と変化するため、この輝度を決定する問題を瞬時に解く必要がある。

従来の手法では、複数台のプロジェクタの映像を最適化するために必要な計算時間が長くなる。わずか2台の場合でもその計算時間は、数ミリ秒の投影遅延が求められるダイナミックプロジェクションマッピングに適用できるレベルではなかった。計算時間が長かったのは、複数枚の投影画像を同時に推定する大規模な最適化問題^[用語2]を解くアプローチをとっていたためである。このアプローチには、プロジェクタの台数に対して、計算時間が2乗のオーダーで増加する問題もあった。このため、将来的な計算ハードウェアの性能向上を待ったとしても、ダイナミックプロジェクションマッピングにおいてプロジェクタの台数を増やせる見込みは低かった。

さらに1,000 fpsでの投影が可能な高速プロジェクタは、30～60 fpsの一般のプロジェクタに比べると、1秒間に投影する画像枚数が多いため、計算機とプロジェクタの間のデータ転送速度を高く保つ必要がある。このため、計算機に接続できる高速プロジェクタの台数が2台程度に限られるという問題があった。したがって、多数台の高速プロジェクタを用いたダイナミックプロジェクションマッピングを構築するためには、これらの高速プロジェクタを接続する計算機も複数台必要となる。しかし、高速プロジェクタが接続されたそれぞれの計算機で、投影像を分散して生成する高速な計算手法も無いという点が、システム構築の面での課題となっていた。

本研究では、複数台のプロジェクタの投影画像をそれぞれ独立に、さらには画素並列に計算できる手法を提案した。これは、投影される対象の凹凸に対して、プロジェクタの画像解像度が十分に高いという前提のもとでは、前述の最適化問題を緩和して並列に解くことができる点に着目したものである。このような並列化により、高速での計算を実現できる。また、プロジェクタが1台増加した場合の計算時間の増大はわずかである（図2）。例えば、画像生成に要する時間を3 msに抑えるという厳しい条件のもとでも、この手法では従来よりも大幅に多い13台ものプロジェクタを利用できる。

図2.

提案手法によるプロジェクタ台数と画像生成時間の関係を示すグラフ。1枚の画像を生成する時間を表している。青色は画像転送時間、オレンジ色は目標のマッピング像の生成時間を示す。黄色は、目標のマッピング像を再現するために、どのプロジェクタがどの輝度で投影すればよいかを決めるのにかかる時間である。黄色の時間のみがプロジェクタの台数に応じて増加するが、その増加の割合はサブミリ秒程度であり、人間には知覚できないレベルである。

提案手法の実装にはレイトレーシング法^[用語3]を活用した。レイトレーシング法は、写実的なコンピュータグラフィクス生成のために開発された手法である。近年では、レイトレーシング法に特化したGraphics Processing Unit（GPU）^[用語4]の登場により、リアルなグラフィクスをリアルタイムに生成できるようになり、ゲーム分野で需要が急速に拡大している。本研究では、このようなレイトレーシング法を転用することで、効率的に計算が可能であることが確かめられた。

さらに従来の手法では、1台の計算機で複数枚の投影画像を集中的に計算する必要があった。しかし、提案手法による並列化によって、各プロジェクタの投影画像を個別に計算できるようになった。これにより、複数台の高速プロジェクタをそれぞれ別の計算機に接続して、分散して画像を生成するシステム構成を実現した。また、センシングのための計算機とプロジェクタのための計算機をネットワークで接続するようにした（図3左上）。加えて、プロジェクタが接続された計算機への指令は、計算機の台数が増加しても転送遅延が変わらないブロードキャスト通信^[用語5]を介して送られる。これによって、システム構築の面においても、台数増加に伴う課題を解決することができた。

本研究では、市販のモーションキャプチャ^[用語6]によるセンシングと4台の高速プロジェクタからなるシステムを構築した（図3右下）。その結果、スループットは360 fps、センシングから投影までの遅延は9.5 msであることを実証した。この性能はセンシングによって律速されており、より高速なセンシング技術と置き換えることでさらなる速度向上が見込める。

図3.

システムの構成図（左上）と4台の高速プロジェクタを用いたシステム構成例（右下）。対象の位置と姿勢をリアルタイムに取得するセンシング結果は、ブロードキャスト通信を介して、ネットワーク接続されたプロジェクタを制御する計算機へ転送される。これらのプロジェクタ制御用の計算機は、複数台のプロジェクタが協調するように投影像を分散して計算した後、プロジェクタに生成画像を投影させる。

この4台の高速プロジェクタ構成でマッピングを行い、その結果をプロジェクタが1台の場合と比較した（図4）。この比較では、静止した対象の左側に運動対象が配置されている。1台の場合には、対象の一部にしか投影できず、さらに写真左側の運動対象で遮られたために、中央の対象表面の一部で影が生じている（図4左上）。一方で4台の場合は、投影光が届くプロジェクタが協調投影することで影がなくなり、対象表面全体をマッピングできている（図4右下）。また複数台でのダイナミックプロジェクションマッピング結果を様々な方向から観測したところ、物体の表面全体にわたって、途切れなく広範囲でマッピングできることが確認できた（図5）。

図4.

1台のプロジェクタ構成（左上）と4台のプロジェクタ構成（右下）の比較。図3右下の中央に置いた2つの白い対象物に投影している。詳細は以下の動画を参照。

図5.

複数台のダイナミックプロジェクションマッピング結果を様々な方向から観測した様子。

この手法を用いると、対象物の外観をより高いリアリティで操作できる。例えば白い対象の表面全体をマッピングで置き換えて、ガラスの物体のように見せるなど、その素材が変容したような効果も可能である（図6）。

図6.

図4と同じ白い対象を、カラフルなテクスチャを持つ物体とガラスの物体に変化させた。動的に動いた場合の屈折による光の透過が再現されるとともに、複数台プロジェクタによる影のない広範囲のマッピングが行われることで、高いリアリティが実現されている。

本実験では、4台のみの高速プロジェクタを用いたシステムを扱ったが、性能的には10台以上に増やしても、ダイナミックプロジェクションマッピングで求められる低遅延を維持できることが分かっている。今後は、実用化に向けて、さらに多数台の高速プロジェクタによるダイナミックプロジェクションマッピングを実現する予定である。

また、本実験で実現された速度性能は、市販のセンシング装置によって律速されており、これをさらに高速化させても、提案した映像生成手法が利用可能である。加えて本研究の提案手法では、センシングのために対象にマーカーを貼り付ける制約もあった。研究グループはこれを解消するために、マーカーレスで、なおかつ3倍以上の速度向上を果たした高速センシング技術も既に開発している^※。このような技術との統合によって、さらなる機能の強化が見込めると考えられる。

本研究によって、プロジェクタ台数を大幅に増やし、動的環境のあらゆる場所へ遅れなく協調して映像を投影することが新たに可能になった。これにより、既に実現していた、物体が運動している局面での実体と投影像の融合をさらに前進させて、どこから観測してもマッピングによる虚実融合が崩れない状況を創出できる可能性が出てきた。これは、仮想と現実の間を目指す拡張現実の新しい段階へ踏み出すものであり、エンターテイメント、広告、ファッション、作業支援、医療支援など、幅広い社会実装へつながることが期待できる。