今回は拡張現実について調べました。

拡張現実に決めた理由は、PC→モバイルの後、どんな新しいデバイスが使われるかに興味があったからです。

 

拡張現実について

まずは拡張現実について説明すると、拡張現実(Augmented Reality)は現実の世界(Real World)の上に仮想世界(Virtual World)を結合する技術です。

 

今まで仮想現実(Virtual Reality)が仮想のスペースとオブジェクトだけに集中したこととは違って、拡張現実はユーザーが直接目で見る現実の世界と仮想のオブジェクトを重ねて表示することで、現実の世界だけでは得られることができない付加的な情報を提供することが特徴です。

拡張現実はパソコングラフィックで作られた仮想環境を使いますが、その対象は現実の世界です。ここでのパソコングラフィックは現実で必要とされる情報を追加で提供する役割があります。

また、ユーザーインターフェースでリアルタイムで相互作用し、より効率的に情報を3Dのコンテンツで提供することができます。

 

拡張現実技術が主に使われているのがモバイル環境です。

スマートフォンが発売されて間もなく、拡張現実の技術を使ったアプリケーションが作られましたが、デバイスの演算能力の限界で快適に使うことができず、当初は使われてはいませんでした。

その後、モバイルデバイスの性能の発展がものすごい速さで進んで、この技術を使うアプリケーションを起動することができるようになりました。

それによって様々なアプリケーションが開発され、その規模が急激に成長しています。

 

モバイル拡張現実はいつも持ち歩くことができ、場所の制約がありません。

また、手で持つことができることから、デバイスに内蔵されているカメラ、GPS、ジャイロスコープ、方位磁石などを自由に使うことができます。

モバイルデバイス以外には例えばショッピングモールなどで使われているキオスク機器があり、これは仮想で洋服などが試着できる機能などもあります。

あと、今後はGoogle GlassやApple Glass(まだ正式な製品名は決まっていない)が開発中ですので、この技術の使い道が増々増えていきます。

 

拡張現実の技術

拡張現実のポイントは仮想と現実を結合することで、現実又は仮想の世界から得たデータを加工し、ユーザーに提供します。

これのために大きくは3つの技術、入力技術 (Input Technology)、計算技術(Computing Technology)、出力技術 (Output Technology)に分けられます。

 

入力技術(Input Technology)

現実の世界またはユーザーを認識するために様々な入力ツールが使われています。

一番基本的な入力ツールであるキーボードとマウスなど、制限的な入力機能を提供するリモートコントローラーから、現在は任天堂社がゲームデバイスに使って知られるようになった重力センサー(Gyroscope)と加速センサーなどが活用されるようになり、より正確にユーザーの動作を仮想世界に適応できるようになりました。

この入力技術はまた大きく2つのメインの技術があります。

 

①位置/方向追跡技術

最近では動いているユーザーの環境を認識するために光学センサー(Optical Sensor)、ユーザーの地理的な位置を認識するためのGPS、方向と動きを認識するための電子方位磁石、加速センサー、重力センサーなどがシステムに適応されるようになりました。

基本的にGPSデータをもとに、ユーザーの地理的な位置を把握した後、 電子方位磁石、加速センサー、重力センサーなどで「どこから」「どの方向に」「どう動いているか」についての情報を得て、それに基づいてユーザーにサービスを提供するようになります。

 

②イメージ分析技術

カメラを活用したイメージ分析技術は、ユーザーが見ている視覚的な情報を入力情報として受け入れ、様々な情報を処理することができます。

このイメージ分析技術がユーザーの周辺環境についての認識だけではなく、ユーザーの動作を認識(Gesture Recognition)するようになってから、ユーザーの動作も仮想世界に適応できるようになりました。

特にイメージ分析技術は、①で説明した位置/方向追跡技術と連動すると、より正確な情報を提供することができます。

カメラを使ったイメージ分析技術は、イメージを仮想世界で意味のあるなデータに変換するために複雑なアルゴリズムと分析技術が必要とされており、これらの技術は一般的に高度な演算が求められているため、相応の演算能力、性能が必要とされています。

最近はモバイルデバイスのハードウェアもよくなったため、それに合わせた様々なアプリケーションが開発されています。

 

計算技術(Computing Technology)

入力された情報を処理するいろんな技術が必要です。

初期の単純な入力ツール(キーボード、マウスなど)から入ってきた情報は簡単なため、高度の演算能力が必要ではなかったが、現在では多くの情報(位置、ユーザーの動きなど)が各種デバイスから入ってくるため、これらを処理する演算能力が必要とされるようになりました。

イメージ分析に使われている技術はコンピュータービジョン(Computer Vision)と呼ばれるもので、カメラから入力されたイメージを保存し、そこから特定なイメージ値を削除、追加する処理過程を通じて意味がある情報を取りだします。

そのイメージが高解像度の場合、これを処理するのに時間がかかります。そのためリアルタイムで起動する拡張現実技術は適応するのが難しいと認識されていました。

 

これを解決するために最近はGPUを活用する方法が注目されています。

GPU(Graphic Processing Unit)は、複雑なグラフィック演算を処理するために開発されたグラフィック専用プロセッサす。

基本的な構造は演算ができる数多くのグラフィックコアーを持っています。

このことにより、同じ演算を繰り返す作業に特化され、フィルタリング、3Dレンダリングなどのグラフィック演算用で使われています。

今はコアーの数や個別のコアーの演算能力が強化されたため、グラフィック演算だけではなく汎用用途(GPGPU:General Purpose computing on GPU)で使われるようになって拡張現実にも使われるようになりました。

初期には現実と仮想の世界を同時に表示するためのBlending技術から始め、現実のビジョン分析などその用途を拡大しています。

当初、GPUは高価なパソコンにだけ利用されましたが、今はモバイルプロセッサにも内蔵されています。

 

出力技術(Output Technology)

各種入力デバイスより得た情報から現実の世界を認識し、それを処理/加工したら、最後の段階は現実の世界と仮想世界を結合してユーザーに見せることです。

Product photography of the Google Glass wearable.

今まではモバイルデバイスのディスプレイを通じて表示しましたが、モバイルデバイスは大きさにも限界があり、カメラなど入力の機器がついているためユーザー視点の角度とカメラの角度によって入力される情報に差が生じるという欠点がありました。

この欠点を解決するデバイスとしてGoogleが開発したGoogle Glassをはじめ、まだデザインなどは発表されていませんがAppleでもメガネ型デバイス開発の発表がありました。

眼鏡型はディスプレイの大きさの問題を解決し、両手が自由且つ、人の視線とカメラが一致してるためより便利で様々な業界でも使うことができると期待されています。

 

 

拡張現実を使ったアプリケーション

今、拡張現実は様々な分野で使われています。

今回はApp StoreとPlay Storeでダウンロードできるアプリケーションをいくつか紹介します。

  • PokémonGO (App, Play)

GPSシステムを使い特定の場所に特定のPokémonが表示され確保ができるゲームです。

 

  • IKEA Place(App, Play)

家具会社のIKEAから出したアプリケーションで、IKEAの家具をユーザーの部屋に仮想的において見ることにより、大きさや、部屋に似合うか、など購入する前に分かることができます。

 

  • Google map

Google mapに登録されているビルやお店が画面の中に入ると情報が表示されるか、目的地までの経路、道の名前などを表示するサービスをしています。

 

今回は一部のアプリケーションを紹介しましたが、今後、拡張現実を利用したアプリケーションはどんどん増えていくと考えられます。

今後どのように発展していくのか楽しみです。