没入型技術

| 1

目次 3 はじめに：深い没入感へ by Paul Golata 5 現実世界に浸透する没入型テクノロジー by Adam Kimmel 11 観客を参加者にする没入型テクノロジー by Jon Gabay 19 没入型技術はあまねくテクノロジーの融合に依存 by Traci Browne 25 仮想空間で暮らし、働き、学ぶ by David Freedman 31 Zoomを超えて: 没入型コラボレーションによる次世代会議 by David Freedman 33 没入型技術が製品開発と購入体験を変える by Carolyn Mathas and Jon Gabay 39 仮想世界を実現する3Dサウンド by Jon Gabay 45 VR空間で行うコラボレーションの未来 by David Freedman MouserおよびMouser Electronicsは、Mouser Electronics, Inc.の登録商標です。その他、記載されている製品名、ロゴ、および会社名 は、それぞれの所有者の商標または登録商標である場合があります。本誌に記載されているリファレンスデザイン、概念図、およびその他の画像は、 情報提供のみを目的としています。 Copyright © 2021 Mouser Electronics, Inc. — A TTI and Berkshire Hathaway company 1 |

記事執筆 Adam Kimmel Jon Gabay Traci Browne David Freedman Carolyn Mathas 技術監修 Paul Golata Joseph Downing Christina Unarut デザイン制作 Robert Harper 協力 Kevin Hess マーケティング担当シニアバ イスプレジデント Russell Rasor サプライヤーマーケティング 担当バイスプレジデント Jack Johnston, ディレクター マーケティング・コミュニケー ション Raymond Yin, 担当ディレク ター テクニカルコンテンツ | 2

はじめに：深い没入感へ Paul Golata 飛ぶのは今だ れ、人間と機械の対話やその関係が大き く変わると言われています。 今後、企業が成功するためには、プロセ 覚悟は決まった。もう後には引けない。 スを見直して、優れた没入型技術を導入 私は身を宙に投げ出すと、空高く舞い上 し、活用する必要があります。この革新 がった。眼下に世界がみるみる広がって 的なテクノロジーにより、人間の創造力 ゆく。高揚感で胸が震える。その瞬間の と意識は新しいアプリケーションと市場 ことだった。ザブーン！ 衝撃が走る。今 を切り開いてゆくことでしょう。本誌で 度は、奈落のような暗い水底へと沈んで は、この新しいテクノロジーの定義と概 ゆく。水圧がかかる。少しずつ、ゆっくり 要について説明し、 そこから、客観的 と水面に向けて浮上をはじめる。もうす 現実と主観的現実の関係について探っ ぐ水面だ。ああ、助かった。 ていきます。また、このテクノロジーを活 執筆者紹介 用し、仕事、教育、日常生活を大きく向 おそらく多くの人がこんな経験をしたこ 上させるために必要とされる技術につい とがあるのではないでしょうか。プールサ ても説明します。さらに、体験する、触れ イドに立ち、飛び込もうかどうしようか る、聞く、感じるといった動的な手段につ 悩む。そしてついに覚悟を決めて、飛び いて述べ、 最後に、設計エンジニアがど 込む。次の瞬間、プールの中に潜り、日 のようにこのテクノロジーに対応してい 常の環境とは異なる水中の世界に完全 かなければならないかを考察します。 に没入する。 マウザー・エレクトロニクスは、今日に至 マウザー・エレクトロニクスは、没入型 るまでお客様が直面するさまざまな課題 Paul Golataは、2011年マウザー・エレク を解決し、多種多様な設計ニーズをご支 トロニクスに入社。シニアテクノロジース 技術の進歩を通して、お客さまのイノベー 援してまいりました。本誌にはその詳細 ペシャリストとして、戦略的リーダーシッ ションを推進します。没入型技術は、人 間の知覚経路に変化を与え、人間が非 が記されておりますので、ぜひ各記事を プ、計画の実行、全体的な製品ライン、高 物理的な世界で仮想的に存在できるよ ご覧ください。次世代の没入型技術の 度技術製品に関するマーケティング指導 うにします。本物のように感じられる、ま 実現においても、マウザー・エレクトロニ などを通じてマウザーの実績に貢献。ま ったく新しい現実感を生み出す技術です。 クスがお客様の設計ニーズにお応えでき た設計技師に電気工学の最新情報やト る絶好のパートナーであることがご理解 レンドを伝えるため、ユニークかつ貴重な 没入型技術は、拡張現実（AR）、クロス リアリティ（XR）、複合現実（MR）、仮 いただけることと思います。 技術コンテンツを配信し、マウザー・エレ クトロニクスの理想的な企業としての地 想現実（VR）を活用して、人間の知覚体 位強化にも貢献している。 験とコンピュータ・デジタル情報を融合 し、まだ見たこともない新たな環境を創 造します。このテクノロジーによって、物 事を認識するということの意味が見直さ 3 |

画像元：“garykillian / stock.adobe.com” | 4

現実世界に浸透する没入型 テクノロジー マウザー・エレクトロニクス　アダム・キンメル あなたは「現実」をどう定義するだろう。 スマートフォンの普及に伴い、ARと は、医療分野だけでなく、スマートシティ 現実の概念を表面的に理解するのは MRはたちまち人気となった。2018年 やコネクテッド街灯から、宇宙旅行支援 やさしい。それは自分の周りの世界、自 ～2023年までの調査をまとめた2021 まで、さまざまな用途で私たちの利便性 分の目で見えるもの、感じるものすべて 年Statista市場レポートは、没入型 を高めてくれる。 だ。現実とは、簡単に言えば、存在する 技術について次のような洞察を紹介し ものである。 ている。 仮想的世界と物理的世界が交わること で、人類をより良い方向に変えることが 少なくとも、長い人類の歴史を通じて現 . 没入型テクノロジー市場の世界 できる。以下では、XRの各テクノロジー 実はそのように捉えられてきた。しかし、 売上高は、2020年の時点で63億 について説明し、シグナルチェーンコン モノのインターネット（IoT）、スマートデ 米ドルに迫っており、今後5年～10 ポーネントがどのようにこの革新的な バイス、5Gの急速な普及によって現実 年間は飛躍的な成長が続くと予 技術を可能にしているのかについて概 の前提は変わった。常に予測可能な世 測される。 説する。 界から、絶えず進化するリアル体験とバ ーチャル体験の世界となったのだ。私た . VRは、成長率が2020～21年の 没入型テクノロジー ちは物理的現実を見たり、感じたりして 42%から2022～23年の10%と いるが、それは全体のほんの一部にすぎ 頭打ちとなってはいるものの、この の枠組み ない。物理的現実と没入型／エクステン 中で最大の市場規模を占める。 デット・リアリティ（XR）がバランスよく融 XRは、その技術が1957年に発明されて 合したことで、より充実した新しい体験 . モバイルARは、AR/MR現実テクノ 以来、科学界と消費者市場を魅了してき を生み出せるようになった。 ロジーを合わせて37億米ドル、残 た。その後、かなり経ってから、科学者は りの26億米ドルはVRである。 この技術を「仮想現実」（1975年）、「拡 没入型現実には主に3つの種類がある。 張現実」（1990年）と名付けたが、コンピ . ARとMRは急速に成長してお ューターとテクノロジーで人類の体験を . 仮想現実（VR）：デジタルだけの世 り、MRはIoTの普及と共に飛躍的 向上させる夢への取り組みはすでに進 界に没入した感覚になれる、完全 な伸びを示している。 められていた。 なシミュレーション環境。 カメラ以外で没入型体験をするには、主 シグナルチェーンとは何か、そして処理 . 拡張現実（AR）：デジタルの画像と にXRヘッドセットを使う。XRデバイス内 要素がどのようにしてこの体験を実現す 体験を追加して強化された物理的 には計算・処理素子、アクチュエータ、セ るのかを理解するには、没入型テクノロ 環境。スマートフォンのカメラを使 ンサなどのコンポーネントが搭載され ジーの枠組みを定義するのがいいだろう。 ってARを体験することが多い。 ている。これらのコンポーネントが2つの 世界をつなぎ合わせ、人類の恩恵とな 物理的現実 . 複合現実（MR）：物理的なオブジェ る変革技術の適用を可能にしている。人 クトとデジタルなオブジェクトが相 と社会に恩恵をもたらすXRの用途例に 物理的現実は、テクノロジーがデジタル 互に影響し合う環境。MRは、AR は、子ども用の安全で擬似的な社会的 なオブジェクトを描くためのキャンバス、 とVRの長所と利点を活かしてユー 交流環境の提供や、恐怖心、痛み、不安 と考えると一番わかりやすい。私たちは ザー体験を最適化する。 などの病気の治療支援などがある。XR 五感をすべて使い、周囲の世界に応じて 5 |

画像元：“HQUALITY / stock.adobe.com” | 6

瞬時に正確なフィードバックを得る。フィ 験をもたらす。勇敢なユーザーであれば、 ARは有益で楽しい機能を提供する。そ ードバックは、ユーザーが予測できる範 当時の状況を忠実に再現した試合に参 うしたユーザー体験を高めるさまざま 囲にガードレールを取り付けるようなイ 加することもできる。 な新しいコネクテッド・アプリケーション メージだ。 は人気が高い。ARをうまく機能させる VRとARの主な違いの一つは、その環 には、イメージキャプチャとマッピングが 物理的現実の例：角を曲がる 境でのユーザーの位置関係にある。AR 最も重要だ。これを正しく行えば、デジタ ひとつ簡単な例として、食料品店でショ では、スマートフォンのカメラなどを使 ルなオブジェクトは実際に存在する物 ッピングカートを押しながら角を曲がる って物理的環境に視線を合わせてから、 理的なオブジェクトのように、自然に感 ところを想像してみよう。ある買い物客 そこにデジタルなオブジェクトを重ね じられる。 が何かに気を取られながら角を曲がろ る。VRでは、通常、ヘッドマウントディス うとして、うっかり陳列棚の角にぶつかっ プレイ（HMD）を使って、デジタル環境内 複合現実（MR） てしまった。しかし、この買い物客はすぐ でデジタル的に設定された視界を展開 にカートをバックさせ、回転半径を修正 する。ユーザーの視線の動きに応じて視 没入型テクノロジーの経験豊富な開発 してうまく角を曲がった。 界を変化させるため、データを論理的か 者やユーザーでさえ、MRとARについて つ迅速に受信、処理、分析、返送すること は同じように定義している。物理的なオ この行動を可能にしたのが、回転半径が が極めて重要である。これをうまくやれ ブジェクトと仮想的なオブジェクトを結 足りない、という陳列棚からのフィード ばやるほど、より自然な視覚体験になる。 合する場合、MRでは物理的世界にデジ バックだ。角を曲がるために必要な対応 タル的要素を重ねるのではなく、両者を をすばやく正確に促す情報である。物理 拡張現実（AR） 相互作用させる。Statistaのレポートに 的現実は一定であり、デジタルの許容 よると、この相互作用の実用性が推進力 範囲の影響を受けないため、瞬時にフィ ARはコネクテッド技術の進歩が光ると となり、MRの対前年比成長は過去最高 ードバックが得られる。さらに棚は固定さ ころである。Googleマップ、アメリカンフ となった。MRとARの主な違いを示すた れているので、どのタイミングでもその ットボールの黄色いファーストダウンラ め、CAD設計の例を考えてみよう。 位置は問題にならない。 イン、ポケモンGOなど、すでに私たちの 日常生活に浸透しているARは、ユーザ MRの例：品質管理 物理的なオブジェクトの位置と大きさは、 ーが見ているものにデジタル的な機能 産業用IoTに焦点を絞った場合、MRを デジタルな現実を創造するための重要 やオブジェクトを追加して、視覚情報を 生産プロセスに適用すると、機械に十 なインプットとフィードバックであり、物 強化する。 分な耐性があるか判断し、仕様の妥当 理的現実には五感すべてが関わってい 性を検証できる。品質管理技術者は、部 る。このように設定された枠組みと定義 このテクノロジーを成功させる秘訣は、 分的な物理部品に完成部品の形状を されたキャンバスを用いて、プログラマ デジタルなオブジェクトがもたらす体 投影し、寸法が正しいかどうかを予測 は物理的環境内で物理的環境からのデ 験上の違いという点で、いかにユーザー できる。プロセスの早い段階でこのレベ ジタル体験を生み出すことができる。 に寄り添うかである。たとえば、試合中 ルの予測精度を達成することで、廃棄率 に表示されるファーストダウンラインは、 を下げてスループットを上げることがで 仮想現実（VR） 観戦の邪魔にならないように控えめに き、運営効率を改善してコストを削減す 表示する必要がある。ポケモンや地図の ることができる。MRは遠隔地にいる整 仮想現実は恐らく最もよく知られている 交差点はよく見えた方がいいので、はっ 備士に詳細な修理プロセスを指示する 没入型体験だろう。VRは、これまで物理 きりと目立つデジタルなオブジェクトが こともできる。 的、経済的、時間的な制約から絶対にで 求められる。 きなかったことを体験する機会を人に MRは大きな変革をもたらし、かつてな 提供し、人の体験を豊かにする技術であ ARの例：天体観測 いほど人間と機械の間のギャップを埋 る。そして、できるだけ多くの五感をシミ 天体ファンは、ARを使って夜空に広がる める可能性がある。VRやARと同じよう ュレートし、完全な没入体験を提供する。 星座や惑星を観察できる。ARは、星がど に、MRでも望ましい結果を達成するに れくらい遠くにあり、どのような軌道を描 は、物理的なオブジェクトの正確な位置 VRの例：格闘ゲーム くか、星が生まれてから軌道を描くまで 情報とデジタルなオブジェクトの応答時 VRが作り出す完全なシミュレーション の経緯など、見ている星に関する情報を 間が極めて重要だ。 体験によって、2,000年前の古代ローマ 教えてくれる。ARを使えば、自宅でくつ の円形闘技場で剣闘士試合を一日中 ろぎながら本物の夜空でプラネタリウム 観戦することもできる。ゲームは感覚を を楽しめるし、あらゆるレベルの天文ファ 刺激し、視覚、聴覚、嗅覚、触覚による体 ンのよくある質問にも答えてくれる。 7 |

シグナルチェーン・コ ビジュアルディスプレイ／照 もっとデータを処理できるようになる。エ ンポーネント 明 ッジ処理によりデータを送信する時間と 距離が短縮されるはずである。 没入型テクノロジーは人類に広範囲に 視覚は没入技術で最初に引き込む感覚 わたる恩恵をもたらす。ただし、それはこ であるため、ディスプレイの品質は極め モーショントラッキング のテクノロジーが提供できればの話で て重要だ。視界をリアルからバーチャル ある。材料調達のサプライチェーンと同 へ（そしてバーチャルからリアルへ）巧み 視覚パターンと動作の微妙な変化を没 様に、シグナルチェーンはXR体験を提 に切り替える照明を備えたディスプレイ 入型テクノロジーで再現するには、ユー 供するコンポーネントのネットワークと は、ユーザーが求める革新的な体験を ザーの動きを高感度で検知できなけれ その順序で構成されている。処理能力／ 提供する。高解像度カメラはますます本 ばならない。センサは環境からデータを 熱管理、ビジュアルディスプレイ／照明、 物に近い体験を提供するようになってい 収集し、アクチュエータは人間の反応を コネクティビティ、およびモーショントラ る。現実とデジタルの照明のバランスを 記録し伝送する。これらの開発、特にセ ッキングは、没入型テクノロジーの力を 取ることで、2つの世界の境界をなめら ンサの開発は、自律走行車技術によって フルに開放する足枷となっている。 かにすることができる。スマートフォンと 牽引されている。物理的環境とデジタル ディスプレイのメーカーはこのコンポー 環境の正確な相互作用を実現するには、 処理能力／熱管理 ネントの開発を進めている。 センサが物理空間のマップを正確に作 成し、アクチュエータが人間の行動をそ のまま正確に伝送する必要がある。 ディスプレイの負荷が高まるにつれ、デ コネクティビティ ジタル機能の提供に必要な電力要件も 高くなる。電力密度の高い熱管理とプロ コネクティビティの分野で最大の変革を まとめ セッサを統合すれば、要件を満たしなが 起こすのは5Gだろう。データにアクセス ら優れた没入体験を実現できる。さらに、 し迅速に分析するための処理能力では、 没入型テクノロジーのシームレスな統 増加する処理熱負荷を十分に冷却して、 コネクティビティは問題にならない。リア 合は、明らかな恩恵をもたらす。この変 装置の故障からユーザーを守らなけれ ルな環境を提供するデータの量は、シス 革的な技術は、エンターテインメントを ばならない。医療や介護の分野では特 テムがユーザーに送信するデータ量が 向上させ、製品開発、医療・手術、移動中 にそうだ。データセンター用の冷却装置 増えれば増加する。高速・低遅延の5G の安全性、教育の質と深さなどを改善す 市場は、処理とチップの冷却ソリューシ により、ユーザーの行動へのリアルタイ ることにより社会に貢献する。次の分野 ョン開発を促しており、これがXRにも役 ム応答が不可欠となるアプリケーション の開発がこの統合を後押しするだろう。 立つ可能性がある。 で、XRの実用化が進むだろう。5Gの大 規模な展開により、データ分析を中央ハ . データセンター業界の処理能力と ブから切り離し、機器レベル（エッジ）で 冷却技術 | 8

. スマートフォンおよびディスプレイ・ メーカーによるディスプレイ・照明 技術 . 5G関連メーカーおよびネットワー クサービス事業者によるコネクティ ビティ技術 . センサおよびアクチュエータ・メー カーによるモーショントラッキング 技術 これらのテクノロジーはどれも没入型テ クノロジーの成長の足枷となるリスクが ある。市場レポートが予測しているよう な飛躍的進歩を実現するには、各分野 で協力して開発と成長に取り組む必要 があるだろう。しかし、XRの向上で人類 が手にする恩恵を考えれば、その取り組 みは確かに投資に値する。 執筆者紹介 AD-FXTOF1-EBZ 3D ToF開発キット Adam Kimmelは、約20年にわたり エンジニア、研究開発マネージャー、 技術記事ライターとして活躍。執筆分 mouser.com/adi-ad-fxtof1-ebz-kit 野は、自動車、産業/製造、テクノロジ ー、エレクトロニクス市場に関するホ ワイトペーパー、ウェブサイト広告、ケ ーススタディ、ブログ記事などに及ぶ。 キンメルは、化学工学・機械工学で学 位を取得。現在、エンジニアリング・テ クノロジー関連記事制作会社ASK Consulting Solutions, LLCの創立 者兼代表。 mouser.com/adi-ad-fxtof1-ebz-kit 9 |

画像元：“HQUALITY / stock.adobe.com” PiezoHapt & PowerHap 第11世代Core™ Uシリーズ アクチュエータ プロセッサ mou.sr/3vdyYK3 mouser.com/intel-u-series | 10

観客を参加者にする没入型テクノロジー マウザー・エレクトロニクス　ジョン・ゲイベイ より現実に近く に着ける一人用のディスプレイにすぎな 技術が没入環境を生み出し、現在発展 かった。ヘッドトラッキング、双方向性、ビ を遂げている。 ルトイン・オーディオも組み込んでいな 人類は言葉を話す前から、身振り手振り かったが、これが発端となってウェアラブ 今では単純に思えるこの技術が、3Dマッ で情報を伝え理解していた。やがて炭を ル技術の人間工学および視覚面での開 ピングと3D表示、遠近感処理、メモリ管 使い、ペンや鉛筆を手に取って文字や絵 発が始まった。初期のユーザーインター 理、割り付け技術、シェーディングと光 をかくようになり、はじめて、明確で具体 フェイスはよく考えられていたが、あまり 源処理、そしてリアルタイムの画像スティ 的な情報を伝え、知識やニュース、体験 効果的でなかった。たとえば、赤外線感 を記録として残せるようになった。しかし、 知グローブは、コンピューターとレシー 創造と表現の物語はそこで終わらなか バで手の動きを検知し理解するしくみだ った。私たちは今、音響・映像技術から双 った（図1、右）。 方向型通信技術まで、さまざまな方法で 体験や知識を共有することができる。 もう一つ障害となったのがメモリチップ とモジュールだった。当時のメモリチップ テクノロジーが作り出した環境に没入す とモジュールは今の基準からすると低 るというアイデアは、実は新しいもので 速度で密度が低く、3D画像を保存でき はない。ステレオヘッドフォンを使うこと る深さもなかった。そのためヘッドトラッ も、ひとつの没入型テクノロジーの形と キングは実際には使用できず、エネルギ 言える。たとえば、目を閉じて森の音や ー管理も今のレベルになかった。 生き物の鳴き声を聞くだけでも、自然の 中にいるような気分になれる。ビデオも 今、この技術がようやく進歩し、実現の入 映画も部分的には没入環境だが、まだ 口までやってきた。テクノロジーが作り 現実から遠く感じられる。しかし、システ 出した環境への没入を日常の現実世界 ム設計、ディスプレイ技術、オーディオ技 でうまく活用すれば、個人や社会に利益 術、そしてミックスド・シグナル・デジタル をもたらすだろう。 技術の進歩により、私たちは情報の受 け手から作品の参加者に変わろうとし ている。 期待できる現実世界 での活用例 課題を克服 図1：没入型テクノロジーの初期の製品は最 小限の機能しかなかったが、よく考えられて 現在、当たり前のように受け入れられて 視覚的没入デバイスとして最初に登 いた。Stunt Masterヘッドセット（左）の解 いる多くの技術がそうだったように、基 像度はVGAの4分の1で、Lo-Fiスピーカーだ 場したのはビデオヘッドセットだっ 礎技術はしばしば防衛技術から生まれ、 った。赤外線（IR）グローブコントローラー た。Stunt Masterなどの初期の製品 民間技術に発展する。たとえば、ブラウ （右）はストレイン技術で指の位置を測定 は、せいぜい目を覆う解像度の低いモニ ン管、テレビ、ラジオ、マイクロ波がこれ し、IR LEDで手の動きとボタン押下を伝送し ター程度のもので（図1、左）、 解像度が に当たる。没入型テクノロジーでも、フラ た。（画像：マウザー・エレクトロニクス） VGAの4分の（1 320x240）しかなく、頭 イトシミュレーターなどの防衛訓練用の 11 |

画像元： “Tran / stock.adobe.com” | 12

図2：技術者と整備士は作業を始める前に、仮想マシンで複雑なアセンブリの込み入った細部を観察できる。これはトレーニングと実際の修理 に役立つ。（画像：Gorodenkoff/Shutterstock.com） ッチングとスクロールを生み出す先駆け 分解し、中を直接見て、アクセスするリリ て、不安定な人間の手よりも正確に繊細 となった。さらに、この技術はマルチポー ースクランプやボルト、アセンブリの場所 な外科手術を行える。センサ（この場合 トまたは冗長メモリブロックを採用し、一 を確かめられる（図2）。インタラクティブ は触覚フィードバック）と組み合わせると、 方のメモリブロックでビデオをリアルタ に参照できる確かな仮想投影があれば、 腕のいい外科医なら組織を傷つけずに イム再生しながら、もう一方を次のシー 当然、自動車や電化製品など、実質的に 把持、引き、移動、縫合を行える（図3）。 ケンス用に更新する。 どんな機械の修理手順でも改善できる し、理解しやすくなる。 このテクノロジーは遠隔手術も可能に これまで多くのマニアがフライトシミュレ する。たとえば、火星に向かう宇宙飛行 ーターを娯楽として楽しんできたが、現 これにセンサのデータと仮想画像を合 士が百万マイル離れた場所にいても、外 実世界における没入型テクノロジーの わせると、もっと興味深いことが起こる。 科医は地球から手術ができる。外耳道 可能性は今ようやく明らかになりつつあ 修理技術者はエンジンの中を見て欠陥 の洗浄や閉鎖動脈のような簡単な手術 る。没入型テクノロジーは、ゲームの分 のあるベアリングを見つけ、埋もれて見 も可能で、医師は無重力に適応する必 野で手軽で人気の高い娯楽となってい えないボルトにアクセスする方法を判断 要もない。とりわけ遠く離れた場所では、 るが、重要な用途においても他の最新の できるようになるのだ。 信号の遅延時間という課題がある。その 技術と統合することで、実際に人命をも ため、遅延時間や信号が途絶えた場合 救えるようになるだろう。 最も期待され、影響を与えると思われる には、人工知能が動き動作を調整する。 のが医療分野だ。たとえば、MR（I 磁気 たとえば、飛行機のエンジンに修理が必 共鳴画像）の高解像度のスキャンデータ 没入型テクノロジーは、地上のどこにい 要な場合を考えてみよう。これまでは保 があれば、医師はあらゆる角度から患 ても人命を救うことができる。猛吹雪の 守マニュアルを確認しながら修理するの 者の体内を撮影し、腫瘍を調べることが 中でGPSに誘導してもらう場面を想像 が鉄則だったが、没入型仮想技術を使 できる。さらに内側が見えるように拡大 するといい。すべてが雪に覆われている 用すればこの作業をさらに改善できる。 表示することもできる。 と、どこが道で、どこが湖かがわからない。 技術者は平面図、あるいは等角図やパ ラメトリック図を見る代わりに、目の前 双方向型の遠隔操縦機（図1、右のコン しかし、センサと正確なGPSを組み合わ に浮かび上がったエンジンを見ることが トロールグローブより分解能が高いもの） せた没入型VRディスプレイなら、リアル できる。エンジンを回転させ、仮想的に と組み合わせると、ロボットツールを使っ タイムビデオに実際の道路を重ね、走行 13 |

すべき場所と走行してはいけない場所 者が力覚フィードバック技術によって対 実から切り離されたように感じる人もい を示してくれる。この例で注目すべき点 象物の感触を確かめられることが不可 るだろう。しかし、ARとVRにはそれぞれ が二つある。一つは、人間の五感を凌駕 欠だ。シンプルな赤外線（IR）グローブ に適した役割がある。 するセンサデータを没入型体験に加える は、HaptX社の工業グレードモデル（図 ことで、人間の力だけでは不可能な高い 4）のような、マルチセンサおよびマルチ 一般に、ARではビデオが透明な画面に 能力が得られること。これがVRとARを アクチュエータを搭載するグローブに置 映し出される。このニーズを最適に満た 組み合わせたときの違いである。 き換わっている。 すのが、いわゆる「有機発光ダイオード (OLED) 」だ。各画素が発光点であるた もう一つは、VRとARによって、命を救う 最近開発された興味深い技術に、グロ め、バックライトや走査型レーザーなし 仕事が遠隔地や仮想空間で実行できる ーブがなくても、ビデオに基づいてジ で画像をレンダリングできる。 という社会的利益がもたらされることだ。 ェスチャを検出、認識、制御し、触 たとえば、爆弾処理を行うときに、多関 覚フィードバックを行う技術があ 3Dビデオを組み合わせたVRヘッドセッ 節ロボットのような仮想実在装置を危 る。 巧妙に配置されたビデオカメラを使 トは、VRおよびAR体験に適している。た 険な場所に送り込んで、人の命を危険に って手の動きをモニターし、巧みな超音 だし、VRヘッドセットでは、ステレオカメ さらさずに、慎重な作業を行うことがで 波インターフェイス技術で操作者に実 ラのバランス調整など、悪条件下で現実 きる。3D空間認識能力があれば、爆弾 際に触覚フィードバック（一種の超音波 世界が遮断される可能性がある。透明 処理班はどんな2Dシステムよりもはる 力場）を与える（図5）。. でコンパクトな仮想世界であれば、強烈 かに的確に空間を認識できる。 な光や猛吹雪のホワイトアウトにも遮 られない。 他にも原子炉のバルブを手動で閉める VR（仮想現実）と ような危険な作業も、2Dシステムだけ AR（拡張現実） 人間が五感で感じ取る前に、潜在的な で行うよりも安全かつ巧妙に遂行できる。 危険を検知し警告できれば、間違いなく こうした精密な遠隔・仮想操作で鍵とな 映画『ターミネーター』でサイボーグを 安全上のメリットになり、その範囲は人 るのは触覚フィードバックである。遠隔 演じたアーノルド・シュワルツェネッガー 間の認識に限定されない。サーマルテク 手術など、命にかかわる処置では、操作 のように、現実に情報を重ねて見ると現 ノロジーを使えば、熱を色分けして可視 図3：VRとARにより、医師は遠隔操作でも、人間の力では得られない精度と微妙な制御力を発揮して、繊細な外科手術を実施できる。（画 像：Gorodenkoff/Shutterstock.com） | 14

化できる。この技術を使えば、運転中、進 もあるが、それもすべて追加スピーカー ィオは従来とは違う。それはデジタルモ 路上にいる人や動物を、視界に入る前 とサブウーファー次第である。これを室 デリングされたサウンドオブジェクトで に確認できるようになる。紫外線カメラ 内に設置するのは簡単だが、ヘッドセッ あり、その特徴、距離、動き、方向によって は肉眼では見えない細部を捉えること トとなると至難の業だ。 音響トラックが合成され、複数のスピー ができる。 カーに分配される。劇場ならいいが、ウ デジタル信号処理アルゴリズムはステ ェアラブルの没入型システムでは実現で 人の視覚範囲を無線周波数（RF）からX レオ音響情報を取り込み、サラウンド きそうもない。 線に拡張すると、診断および故障点検 音響規格の特定のチャンネルを抽出 技術が大幅に向上する。宇宙、原子炉、 する。そして合成されたトラックを増幅 実現はすぐそこに 潜水艦などの環境では、潜在的な問題 し、サラウンド音響スピーカーに適用す が実際の問題となる前に見つけて修理 る。さらにステレオとサラウンド音響の とはいえ、没入型テクノロジーのヘッド できなければならない。 5.1ch、7.1ch、7.2ch、9.2chの間で相互 セットの設計と構築はもう手の届くとこ に変換が行われる。 ろまで来ている。デバイス設計のパズル 映像以外にも のピースは揃った。AR、VR、MR（複合 現実）システムのすべてについてそう言 ここからがおもしろい。人間が生き残る える。 ためには、視覚以外の感覚も必要だ。場 合によっては聴覚は視覚と同じくらい重 Thin Film Technology（TFT）社のデ 要だという人もたくさんいる。私たちは、 ィスプレイはあらゆるところで使用され、 見えない危険を立体音響聴覚で検知し、 手ごろな価格で複数のルートから製品と おおよその位置をつかむことができるか して入手できる。ディスプレイはLEDバッ ら、人類として生き残っている。 クライトが必要で遮光タイプだが、立体 カメラと組み合わせれば、VRはもちろ 図5：高解像度ビデオカメラが手の動きをと ん、ARにも使用できる。 らえる一方で、超音波エミッタが正確な位 相制御を使って操作者に動きを感じさせる。 （画像：マウザー・エレクトロニクス） ここでテクノロジーの分化が必要になる。 エンターテインメントでは、再現性が最 も重視される。たとえば、サラウンド音響 5.1chで録音されたものは、5.1chシステ ムで再生するのが一番だ。ARでは、3D で感じて3Dで再現できることが重視さ れる。ステルスミッションの兵士は、サー マルテクノロジーで敵を識別できるかも しれないが、それにフィルターされた指 図4：高精度センサが指と手の動きやジェス 向性サラウンド音響が加われば、さらに チャを正確に検知し、ハプティクス力覚フィ 精度を高めることができる。敵が壁の向 ードバック技術が触覚感受性と力制御を劇 こうに隠れても、3D音響なら呼吸や心 的に高める。（画像：HaptX）。 拍音を検知できる。 図6：ARでは、現実の感覚の上に情報を重 ね合わせることができる。着色技術を使う ドルビーアトモスなどの最新のシステ と、熱を色で識別できるようにするなど、人 間の五感の範囲を広げることもできる。（画 没入型テクノロジーと没入型体験では、 ムは、映画館のような本格的な没入体 像：HQuality/Shutterstock.com） 聴覚が重要な役割を果たす。長い間、大 験のサラウンド音響用に設計されてい 半の人が満足していたステレオは、サウ る。これらのシステムには最大64台のス ンドスケープ（音響風景）を正確に3Dレ ピーカーが使われることもあるが、それ 一番いい選択肢はOLEDかもしれな ンダリングしていない。サラウンド音響技 はウェアラブルのヘッドセットには多す い。OLEDなら柔軟性があって、折り曲げ 術として設計され、設置されているもの ぎる。処理リソースも必要になる。オーデ たり変形したりできるし、透明なので画 15 |

面の向こうが透けて見える。何よりいい れば、クリアで酔わない映像を提供でき トをOEMすることで実施できる。複数の のは、透明なフィルムに埋め込まれた微 る（注：表示がヘッドトラッキングより遅 会社がさまざまな価格と性能レベルの 細なLED素子が発光するので、バックラ れると、認識のずれによってVR/AR酔い 製品を提供しており、 ケーブル付きとケ イトが不要なことだ。ただし、OLEDディ が生じる可能性がある）。 ーブルなしがある。最も話題を集めてい スプレイはあるにはあるが、TFTほど簡 るのがOcculus Quest 2。価格は300 単に入手できない。別のオプションとし 超高密度高速メモリ、エネルギー管理チ 米ドル程度だ。コンピュート・グラフィッ て、スキャニングレーザーヘッドアップ技 ップ、高密度バッテリなどの技術もすべ クエンジン内蔵、ワイヤレス通信、周辺 術もある。 て進歩したことで、この技術が費用対効 機器用のBLUETOOTH® インターフェ 果と効率性を十分に兼ね備えた、待望 イスを備え、適切なヘッドトラッキングを スマートフォン革命と自撮りの流行のお のユーザーインターフェイスとなる下地 実現する。Sony PlayStation®にも競 かげで、複数のメーカーが超小型の高 は整った。さらに高帯域、高周波無線通 争力のあるモデルがあり、価格も魅力的 解像度ビデオカメラを製造している。小 信技術により、没入型デバイスを完全に だ。HTCとValve IndexのVRキットも特 型なのでメガネのフレームはもちろん、 テザリングフリーにすることも可能だ。 筆に値する。 完全没入型の遮光ヘッドセットにも最 適に取り付けられる。 設計オプションと検 開発ツールもあり、シーンスケープと複 数キャラクターのインタラクションを可 オーディオプロセッサと小型のフルレン 討事項 能にする。グラフィックエンジンとCPU ジのスピーカーも、確かな実績のある を搭載したヘッドセットも登場し、このす 信頼性の高いサプライヤーから購入で AR/VRの応用の進め方を決定する際 ばらしく新しい仮想世界を支援するコミ きる。モバイル機器業界は、音楽鑑賞の に検討すべきこととして、コスト、市場 ュニティは発展しつつある。 ニーズを受けてこのテクノロジーを急成 投入までの時間、信頼性、そして特殊機 長させた。 能がある。商用・民生用で特に重要なの 新たな仮想世界へ は、コストと市場投入までの時間。防衛・ これらの設計を実現する上で最も重要 航空宇宙用の設計では、耐久性、信頼性、 VR（仮想現実）とAR（拡張現実）はどち な技術の進歩は、高度な多軸加速度セ 特殊機能が特に優先される。それ以外 らもユーザーを人工的に作られた空間 ンサだろう。これもすでに利用できる。頭 はすべてこの間に入る。 に引き込む。しかし、VRが現実から切り の動きをモニターできる速度を備えてい 離されたヘッドセットの中の世界に没 るので、速くて応答性に優れたビデオ処 いずれの場合でも、実現可能性の調査 入する体験であるのに対し、ARは情報 理・レンダリングシステムと組み合わせ とプロトタイピングは既存のヘッドセッ 強化された現実世界に没入する体験で、 | 16

人の五感の領域を広げることができる。 幸いにも私たちは、それを統合して、教 育、機械修理、手術、ナビゲーションを向 執筆者紹介 上させ、感覚の領域を拡張できる世界を 作り出す技術を手にしているのである。 Jon Gabayは、電気工学で学位を 取得後、防衛、商業、工業、コンシュ ーマ、エネルギー、医療などの分野 の各企業にて、設計エンジニア、ファ ームウェアコーダー、システム設計 者、科学研究者、製品開発者として活 躍。Dedicated Devices Corp.を設立 し、代替エネルギーの研究者、発明家 として、オートメーション技術に携わ り、2004年まで同社を経営。以降は研 究開発、記事執筆、次世代エンジニア や学生のための技術育成に従事。 FiTファミリーコネクタ mouser.com/molex-fit-connectors 17 |

画像元：“Gorodenkoff / stock.adobe.com” DRV8601 MP23DB02MM MEMS ハプティックドライバ マイク mouser.com/ti-drv8601-haptic-driver mou.sr/37PBoXy | 18

没入型技術はあまねくテクノロジーの 融合に依存 マウザー・エレクトロニクス　トレイシー・ブラウン エクステンデット・リアリティ（XR）、空間 部教授のロバート・クロケット博士は、 コンピューティング、ホログラム、ボリュー そうではないという。彼の考えでは、没 ムデータについて話すとき、大抵の人は、 入型テクノロジーの分野ではシステム その体験に期待を持つ。数年前、私は初 思考型のエンジニアがよい成果を上げ めてVRのヘッドセットを着けた。その時、 られる。すぐに手に入る高品質の既製 何を期待していのか覚えていないが、が 品コンポーネントがあれば、エンジニア っかりしたことは覚えている。現状を見 はすべてのコンポーネントをひとつのシ れば、まだ「アバター」レベルの没入体 ステムとしてうまく機能させることに集 験すら完全には実現していない。 中できる。 それでも、人々は没入型テクノロジーの つまりそれは、顧客の要件や重要事項 希望を捨てず、エンジニアがそれを実現 を検討するなど、設計前の作業に十分 してくれると思っている。ほぼすべての 取り組んでから、システムを設計し、問 業界は没入型テクノロジーのもたらす 題になりそうなところを特定することで 効果について楽観的であり、その市場も ある。HaptXでは、膨大な数の試作品 らないかもしれない。これらの エンジニアの想像力とともに広がってい を作り、パズルのピースを全部一つにま 場合は、閉合の法則（ゲシュタル る。もちろん期待に応えるのは難しいが、 とめるための設計上の課題を突き詰め トの法則）のおかげで、私たちの目 課題を解決するのがエンジニアの仕事 た。さらに、システムの信頼性に納得でき はオブジェクトに小さな欠落があって だ。でも、具体的にどんな課題に取り組 るまで、何度も何度もテストを繰り返し も、スムーズなひとまとまりとして知覚 んでいるのだろう。 た。HaptXが作ったシステムはその名の する。だから、解像度が低くても大丈夫 とおりグローブ型で、仮想現実に本物の かもしれない。しかし、舞台を手術室に 本当の没入体験を創 ような「触覚」体験を加える。 移して、複雑な脳外科手術を行う場合は、 できるだけリアルなバーチャル頭蓋を用 造する パフォーマンス的には、これくらい真に 意して手術してもらう方がいい。とはい 迫った体験を目指す必要がある。もちろ え、高解像度が不要な場合でも、解像度 が高い方が市場シェアの獲得には役立 本当に没入できる体験を作るには、セ ん、必要なコンポーネントがすべて広く ンサ、マシンビジョン、3Dスキャン、電源 手に入る可能性は高いが、どれを選んで つかもしれない。 管理など、数百個ものコンポーネントを 使うかはしばしば用途次第になるだろう。 多くの場合、解像度は遅延ほど重要で ユーザーデバイスに搭載する必要がある。 はない。「Motion-to-photon」の遅延 たとえば、ボリュメトリックビデオの場合 たとえば、VRで本物のような視覚体験 時間は、エンジニアたちが打ち破ろうと は、アクションの周囲に数百個のセンサ を提供する場合について考えてみよう。 とカメラを配置する。では、テクノロジー そのVRヘッドセットに最高の解像度は している壁の一つだ。理想的には、ユー 自体に問題があるのだろうか。 必要だろうか。まあ、それはケースバイケ ザーの空間体験と現実の区別がつかな ースだろう。 い方がいい。専門家は、そのためには遅 延を15ms以下にする必要があるという。 HaptXの共同設立者でカリフォルニア・ VRゲームやデジタルツインのウォーク それ以上になると、ユーザーはフラスト ポリテクニック州立大学医用生体工学 スルーなら、最高レベルの解像度はい レーションを感じるだけでなく、吐き気 19 |