--- title: "Touching Holograms - Microsoft Designブログから" emoji: "📝" type: "tech" topics: ["HoloLens 2", "UxR"] published: true published_at: "2021-05-15 16:45" category: "info" author: "武仙" description: "こんにちは、ホロラボ武仙です！ 2日前にMicrosoft Designのブログから発表された「Touching Holograms」について。 1 Header Sequence_Oscar_Medium.mp4 from Microso" original_url: "https://blog.hololab.co.jp/entry/2021/05/15/164515" --- こんにちは、ホロラボ武仙です！ 2日前にMicrosoft Designのブログから発表された**「Touching Holograms」**について。 [1 Header Sequence\_Oscar\_Medium.mp4](https://vimeo.com/525712186) from [Microsoft Design](https://vimeo.com/microsoftdesign) on [Vimeo](https://vimeo.com). ↑の動画を見て頂くと、3DCGの豆腐に手で触れて、突っついて、掴んで、、、っていうインタラクションがとても自然に見えると思います。これだけですごく楽しい動画で、SNSのリアクションを見ると「スゲー」「自然だ！」みたいな感じで受け取られていました。ただブログ本文を読んでみたら、出来上がった成果のビデオも面白いけれど、どちらかというとそこに至る考え方と試行錯誤のプロセスが楽しかったので、自分のメモのためも含めて書き残しておきます。ぜひ気になった方は原文をそのままだったり日本語に機械翻訳してチェック頂くことをお勧めします。本文: [medium.com](https://medium.com/microsoft-design/blank-story-e286ac1fb11a) ブログポストのタイトルが和訳すると**「ホログラムに触れる」**。普段この「ホログラム」って言葉を使うのにすごく気を遣っているんですがｗ、ここは敢えて原文そのままにホログラムを使いたいと思います。いわゆる制作方法としての虹色の「ホログラム」を超えた使い方をMicrosoftは敢えてこのブログではやってるように感じてます。HoloLens 2着用者の目の前に、3Dのボリュームを持って提示されるものは「ホログラム」。以下、メモ的に書いてます。全文訳するのもちょっと違うなと思いつつ、意訳＋感想みたいな感じ。 ### 背景: What if you could treat holograms just like real objects? HoloLens 2のデモを初めて装着する人に体験してもらう楽しさについて書いてありますｗホロレンジャーな皆さんもよく、デモ体験を提供するときに、初めて体験する装着者に何が起こるか詳しいことを告げずに「掴んで持ち上げて」「そっちに置いて」など、**Realなものを扱うのと同じような指示**をすることがあると思います。「おぉっ！」っと、ホログラムのRealな動きに全身で驚くデモ初心者の方のリアクションを見て、ニヤニヤした経験がある人はきっと多いはずｗ

このブログでは、「HoloLens 2におけるハンドトラッキングと視線、視野角の増加によって、インタラクションデザイナーと一般ユーザーの距離が狭まった」と表現されています。「普通の人でも、Realの動作と同じように使える」体験が作れるようになったわけですね。最新技術は時として専門家にしか使われ得ない複雑さを伴います。しかしながらMixed Realityにおいては今回のHoloLens 2の登場によって、**一般人でも特別な操作方法を学ぶことなく、普段の行動の延長として使える最新技術となってきた点がすごくステキですね。** ブログではこの、一般の人でも初見で使えるための考え方や取り組み、より魅力的にするための手法について紹介されてます。 ### Digital hand twin - 手の「デジタルツイン」どのようにしてより自然なインタラクションを実現するか。握る、押す、投げるなどの動作は下記の物理法則の組み合わせで出来上がってます。 - momentum: 勢い - collision: 衝突 - friction: 摩擦 - gravity: 重力これらの物理法則を実現するためにリアルタイム物理エンジンがキーとなります。ゲームなどでは、ユーザーのボタン操作などがバーチャルな物理となって、バーチャルなオブジェクト間でインタラクションを実現します。同様にMixed Realityにおいては物理的なユーザーの動きを(HoloLens 2のジェスチャーなどを介して)バーチャルなオブジェクトとインタラクションさせることで実現します。 [2 Physics Intro\_Oscar\_Medium.mp4](https://vimeo.com/525712731) from [Microsoft Design](https://vimeo.com/microsoftdesign) on [Vimeo](https://vimeo.com). このビデオで、ハンドジェスチャーで検知されたデジタルツインな手の各ポジションに球形のホログラムが表示されていますが、動きが早くなった際やホログラムのキューブとの接触により該当する箇所の球体が物理エンジンによる勢い、衝突、摩擦、重力が計算されて光っているのが分かると思います。ただここで問題が発生します。ニュートンの運動の第三法則「作用反作用」。現実の世界のようにインタラクションを作りたくても、ホログラムでは触覚が提示出来ないのです。 ### Compensating for missing senses - 失われた感覚を補完どれだけホログラムの見た目をRealっぽく作ったとしても、現実では感じるはずの触覚がないことからユーザーはその感じることが出来ず、触っている間「ゴースト」のように感じられてしまいます。 Microsoft Designerはこの課題をデザインするため、HoloLens 2で提示可能な「vision:視覚」と「sound:聴覚」の2つの感覚に対してover-communicate: 過剰に感覚提示することで解決を試みています。触ったり放したりの動作の時に、音を鳴らし、ホログラムは光り、ユーザーにそのホログラムの動作を強く提示します。また、作用反作用はもともと双方向なので、物理での反作用提示が出来ないホログラムは、代わりに光でその関係を演出提示します。 [3 Lit Hand\_Oscar\_Medium.mp4](https://vimeo.com/525713210) from [Microsoft Design](https://vimeo.com/microsoftdesign) on [Vimeo](https://vimeo.com). 手に明るいホログラムを持った手は明るく照らされます。このちょっとしたエフェクト一つでインタラクションに奥行、近接度合い、方向などの情報を付加して、リアルさが格段に上がります。赤く光るホログラムを手に持ったユーザーは「暖かく感じた」と答えたこともあるそうです。 ### Bending the rules to accommodate users - ユーザー周辺の法則を捻じ曲げるこのチャプターがMixed Realityのすごく面白いところｗ物理的なリアルさを追い求めた結果、面倒臭かったり不可能だったりで、求めてないバーチャルなものへのインタラクションが発生しちゃいました。「床に落ちたオブジェクトをしゃがんで拾う」「はるか遠くに吹っ飛んだオブジェクトを取りに行く」せっかくバーチャルなのでこういうリアルならではの不便を**「法則を曲げる」**ことで解決しちゃいます。 #### Surface gravity [4 Surface Gravity\_Oscar\_Medium.mp4](https://vimeo.com/525713636) from [Microsoft Design](https://vimeo.com/microsoftdesign) on [Vimeo](https://vimeo.com). 落下する対象が近くにある場合には重力が働きますが、無い場合には宇宙ステーションのように宙を漂う、重力の法則を曲げたインタラクション。重ねたキューブの倒れた先にテーブルがない場合には落ち切らずに倒れ掛かった状態でふわふわ宙に浮かんでる様子とか面白いですｗ surface gravityを適用したオブジェクトを高く、手の届かない距離まで放り投げたユーザーがいて、そのオブジェクトを不安定なストールに乗って物理的なリスクをユーザーが冒して回収するケースがあったようです。それをバカバカしいと感じて、次のインタラクションが産まれました。 #### “telekinesis” gesture [5 Telekinesis\_Oscar\_Medium](https://vimeo.com/540861716) from [Microsoft Design](https://vimeo.com/microsoftdesign) on [Vimeo](https://vimeo.com). このtehekinesisはアイトラッキングとジェスチャーの組み合わせで、見つめてるバーチャルオブジェクトに対して掴んだり引っ張ったりなジェスチャーを実施するとフワっと手元に飛んできたり、動かしたりが出来ます。勢い、衝突、摩擦、重力などの物理法則を複合的に曲げて実現するインタラクション。リアルな世界にはこの物理法則はありませんが、みんなスターウォーズのフォースなどで慣れ親しんだインタラクションなので、恐らく少し練習したらすぐに慣れて使えるようになりそうです。 ### Emergent interactions - 新しく生まれるインタラクションふたつのインタラクションによって実現したビデオのようなリアリスティックな体験はあくまでtangible Mixed Reality interactionの1例で、**物理法則を注意深くシミュレートしたデジタル体験においてもっと多様な可能性がある**、とのことで、このブログは結ばれます。いくつか例示されてるなかで、音源のオーナーシップについて**「インタラクション表現が変わることによってそのオーナーシップ(所有しているという)感覚にどのような影響を与えるか」**っていうケースがすごく興味深い。 > How could the feeling of ownership change if you could hold a music album in your hands, put it on your shelf, throw it to your speaker to play, or burn a mixtape and hand it to a friend? 今のデジタル音源の購入はスマホのアプリで決済ボタンを押すだけだし、味気ないプレイリストDBに1行データが増えるだけに感じられます。これが、街中で掛かってる音源を気に入ったらtelekinesisでドーナッツ盤？を手繰り寄せて、サンプルプレイを楽しんで決済。自分のバーチャルな鞄にドーナッツ盤が挟まって、、、気に入ったらハイファイカセットにお気に入りの他の曲と一緒に吹き込んで友達に投げつけて、、、。バーチャルで便利になるのはもちろんですが、デジタル体験一つ一つに物理法則を注意深く観察して、Mixed Realityで出来ることや出来ない事を踏まえた新しいインタラクションを考えて、作ってみてっていう試行錯誤をたくさん実施することが重要、なんですね。ブログの冒頭も、こうやって書いてありました。 > The honest answer was, “I don’t know, but try it.” * * * ホロラボは、XRの可能性や魅力に憑りつかれたたくさんのホロレンジャーが日々Tryしてたくさん失敗？しているエキサイティングな職場ですｗ各職種で積極採用をしていますので、こういう新しい体験をたくさんの実験から生み出すことに関心のある方はぜひお気軽にご応募ください。 [https://hololab.co.jp/recruit/](https://hololab.co.jp/recruit/)

また、もっとくわしくホロラボのことが知りたい方は6/4に開催される「xR合同転職相談会」を視聴してみて下さい。他のXR系の会社さんも出るので色々と聞けて面白そうです！

[https://www.youtube.com/watch?v=bwO4TCHY8O0](https://www.youtube.com/watch?v=bwO4TCHY8O0) ということで、Mixed RealityでたくさんTry！して、新しい体験を作っていきましょ～！