自作ARヘッドセットを用いてシューティングゲームを作る 準備編【Project North Star】
はじめに
初めまして。ハッピーマウンテンです。よろしくお願いします。
さて、自分のいる高専では毎年11月頭に高専祭(文化祭)があり、そこで何か展示をしなければなりませんでした。そこで、オープンソースで開発されているARヘッドセットである「Project North Star」を用いてシューティングゲームを作ったので、その過程を書こうと思います。今回は準備編ということで、Project North Starの仕組みを簡単に書いていこうと思います。
Project North Star
Project North Starとは、Leap Motion社が2018年にオープンソースとして公開したARヘッドセットです。以下の特徴を持っています。
このARヘッドセットの凄さはYouTubeに上がっている動画を見ればわかると思います。まさに近未来の世界ですよね。
Project North Starに関するデータ（CADデータ、回路図、Unityパッケージなど）はLeap Motion社のGithubでGPLに基づいて公開されています。基本はここのデータを参考にすることになります。
また、有志の方々が製作に必要な情報をまとめてくださっています。
Project North starの仕組み
さて、Project North Starを製作・改造するためには、ある程度の知識を持っておかなければなりません。では、高機能で安価なARヘッドセットであるProject north Starはどのような構造になっているのでしょうか。少し詳しく見てみようと思います。
Project North Starのフレームはほぼすべて3Dプリンタで印刷されたパーツで構成されており、大きく2つの要素に分けることができます。
「ヘッドギア」と「光学ブラケット」です。
ヘッドギア
ヘッドギア部分は、文字通りProject North Starを頭に固定する部分です。PSVRやOculus Rift Sのような、上から被るタイプになっています。Project North Starは公開から何回かアップデートがされているのですが、バージョン3でヘッドギアが大幅に改良されており、装着がしやすくなっています。
以前のバージョンまでは、溶接面を固定するためのヘッドギアを流用していましたが、装着のしやすさや、眼鏡をかけた人が装着できないなどの面から、独自のヘッドギアに変更されているようです。ただし、後頭部には溶接面のヘッドギアのパーツを使用します（一部の人は全て自作しているらしい）。
そして、光学ブラケット部分とは細長いアルミ板でつながっており、ここをスライドさせることで調整が可能になっています。
光学ブラケット
光学ブラケット部分に、リフレクタ、ディスプレイ、センサが載ります。リフレクタはProject North Star専用のものなので、自作するか、他に製作している人が販売しているものを用います。ディスプレイはLeap Motion社が指定している専用のものか、ラズパイに使われている小型のものを流用します。センサはハンドトラッキング＋SLAMが行えるものをLeap Motion社が開発しているようですが、まだ発表されていないので、ハンドトラッキングにLeap Motion Controller、SLAMにRealSense T265やStructure Coreを用いている人が多いようです。
ここで、Project North Starがどうやって現実世界に3Dモデルを合成しているかについて説明しておきます。映像の合成はリフレクタ部分で行いますが、楕円鏡とハーフミラーの原理を用います。
楕円鏡
楕円鏡は、楕円体の形をした鏡のことです。楕円は焦点を2つ持ち、片方の焦点を通った光は必ずもう片方の焦点を通るという性質を持ちます（楕円の定義より）。
（出典：https://leapmotion.github.io/ProjectNorthStar/imgs/reflectorOverview.png）
上の画像はProject North Starで用いられているリフレクタの焦点を表したものです。Project North Starのリフレクタは楕円鏡の一部を切り取った形になっています。上側の焦点の延長線上にディスプレイを設置すれば、そのディスプレイから出た光はリフレクタで反射され、もう片方の焦点を通ります。そして、そのもう片方の焦点の位置に目が来るようにすれば、ディスプレイに表示された情報を見ることができるようになる、というわけです。
次に投影された映像を現実世界に合成していきます。ここでハーフミラーを用います。
ハーフミラー
ハーフミラーは、簡単に言えばマジックミラーのことです。半分だけ光を通し、もう半分は反射するという不思議な鏡です。つまり、現実世界の光を半分通し、かつディスプレイの光を半分反射できるようにすれば…というわけです。
これを図に表すとこうなります。これでディスプレイ上の映像と現実世界を合成することができます。
以上の原理を用いることで、手軽にARを実現することができています。ちなみに、他のARヘッドセットでもこの原理を使っているものがあるらしいです。
おわりに
今回はProject North Starについて少し説明を行いました。次回から、実際に製作していく過程を書いていこうと思います。本当は他にも説明することがあるのですがそれは次回以降、折に触れてやろうと思います。
ご覧いただきありがとうございました。
