--- title: "Apple iPad/iPhone搭載「LiDARスキャナ」について調べてみた (3)" emoji: "📝" type: "tech" topics: ["LiDAR"] published: true published_at: "2021-05-22 22:15" cover: "./20210522223137.jpg" category: "info" author: "武仙" description: "Apple iPad/iPhone搭載「LiDARスキャナ」について調べてはじめてみたら分量がとんでもないことになってきた長編連載？第3回目です。これで最終回ですｗｗ 第1回: 「LiDARスキャナ」について調べてみた (1) LiDARと" original_url: "https://blog.hololab.co.jp/entry/2021/05/22/221541" --- Apple iPad/iPhone搭載「LiDARスキャナ」について調べてはじめてみたら分量がとんでもないことになってきた長編連載？第3回目です。これで最終回ですｗｗ **第1回: 「LiDARスキャナ」について調べてみた (1)** - LiDARとは何ぞや？ - ToF方式とLiDARの進化 [blog.hololab.co.jp](https://blog.hololab.co.jp/entry/2021/05/16/110850) **第2回: 「LiDARスキャナ」について調べてみた (2)** - Apple製品におけるLiDARの構成について - VCSELって何？ - VCSELによるアレイ化 - DOEにより、アレイ状のレーザー光を更に拡散 [blog.hololab.co.jp](https://blog.hololab.co.jp/entry/2021/05/19/123857) * * * そして、もとの記事AppleがII-VI(ツーシック)へ440億円を拠出した話題だったんですがｗ、だいぶ明後日の方向に記事が伸びてしまってますｗ [www.moguravr.com](https://www.moguravr.com/lidar-ii-vi-funding/) さて、前回まででLiDARスキャナの構造が、発光と受光と信号処理になってて、発光素子としてVCSELがビカッって見えないけれど光って、それをDOEがバラっと拡散するところまで書きました。
LiDARスキャナをウェブカムで撮影。人間の目には見えなくても機械の目にはお見通し！
LiDARスキャナをウェブカムで撮影。人間の目には見えなくても機械の目にはお見通し！
そうした光が、、、 ### VCSEL/DOEによる照射光をセンスしてToFを実現するSPAD VCSELアレイが発したレーザー光がDOEで拡散されて、近赤外線で明るくなった各ドットのイメージを、今度はソニー製SPAD(Single Photon Avalanche Diode)の受光素子が捉えて、ToF (Time of Flight)：光の到達時間から距離を計算します。 > SPAD(Single Photon Avalanche Diode: 単一光子アバランシェダイオード)技術についてはこちらのEETIMESの記事が日本語で読みやすい。[https://t.co/INN8ydMLaX](https://t.co/INN8ydMLaX) > > そして、この記事もそうですがVCSELのサプライヤーは4億ドルAwardのII-VI IncではなくてLumentumという別な会社の名前になってるんです。 [pic.twitter.com/0BsPFDh8zY](https://t.co/0BsPFDh8zY) > > — Takesen - 武仙＠一緒にMixed Realityやろうぜ！(採用拡大中) (@takesenit) [2021年5月8日](https://twitter.com/takesenit/status/1390894496775237637?ref_src=twsrc%5Etfw) このSPAD自体は最後のDがDiodeなだけあって、そのもの自体は受光素子です。ただ、EETimesの記事によるとSPADはアレイ状に配置されていて、かつこのSPADアレイの下にToF計算用のロジック回路を配置して直接配線されている**「ロジック統合型CMOSイメージセンサー」**とのことでレポートしています。 > 「旧型の10ミクロンピクセルiToF設計に似ているように見えたが、**史上初のインピクセル接続コンシューマーCMOSイメージセンサーであることが判明した。**これは、単一光子アバランシェダイオード（SPAD：Single Photon avalanche diode）アレイだ」 また、ToF方式には光の到達時間そのものを「直接」測定するdToF(direct)と、時間ではなく位相の差から「間接的に」距離を計測するiToF(indirect)があります。一般的にはiToFがモバイル機器に使われていましたが、AppleのLiDARは屋外に強く長距離性能に長けたdToFを採用したとのことです。 ### II-VI社はAppleのLiDARスキャナのサプライヤなのか？ ということで、冒頭に紹介した記事で「AppleがLiDARサプライヤのII‐VI社へ440億円提供」という文脈から行くと、残念ながらこの分解レポートにおいては下記構成で、II-VI社は含まれていない模様です。 - **発光素子 (VCSEL) - Lumentum社(US)**　 [https://lumentum.com/en](https://lumentum.com/en) - **受光素子 (SPAD) - ソニー(日本)** ([ソニーセミコン・I&Sテクノロジーページリンク](https://www.sony-semicon.co.jp/technology/imaging-sensing/)) - **光学素子 (DOE) ‐ Himax(台湾)** ([Himax Technologies - WLOページリンク](https://www.himax.com.tw/products/wafer-level-optics/)) もう一度ニュース原文を読み直して見ると下記の表現でした。 [www.apple.com](https://www.apple.com/newsroom/2021/05/apple-awards-an-additional-410-million-from-its-advanced-manufacturing-fund-to-ii-vi/) > II-VI manufactures vertical-cavity surface-emitting lasers (VCSELs) that help power Face ID, Memoji, Animoji, and Portrait mode selfies. Apple also works with II-VI to manufacture lasers used in the LiDAR Scanner 直訳すると、「II-VIはFace ID、Memoji、Animoji、ポートレートモードの自撮りを実現する**VCSELを製造します。**また、**LiDARスキャナーに利用されるレーザーの生産についてもAppleはII-VIと活動します。** どちらも英語的には現在進行形や現在完了形ではなく、現在系。特にLiDARスキャナーについては、生産についてワークする、だからまだ作ってないのかもしれないｗ 集めた情報から想定すると、**「II-VIはLiDARスキャナの中の重要部品であるVCSELアレイのサプライヤになるかもしれない」**という表現が適切なように感じました。 > The expansion of the company’s long-standing relationship with II-VI will create additional capacity and accelerate delivery of future components for iPhone, with 700 jobs in Sherman, Texas; Warren, New Jersey; Easton, Pennsylvania; and Champaign, Illinois. この枠組みで、700名の新規雇用が、テキサス、ニュージャージー、ペンシルバニア、イリノイの各州の工場で産まれるとのこと。 そして、この記事で本当に伝えたかったのはLiDARスキャナの中身だったり技術についてではなくて、米中摩擦や新型コロナにより分断されていく世界で、国際企業たるAppleとしては将来性あるテクノロジーに関連した雇用やSDGsに対応したGreenなサプライチェインを国内に積極投資していく、とのPRが主目的なように読めました。 > 今回のAppleによる4億ドルAwardも、電子部品、半導体不足だったり米中貿易摩擦みたいなところで、VCSELのような特徴ある技術を使ったキーパーツを自国で生産出来るようにしたり、工場を立てて雇用創出したりの国策に近い動きにも見えますね。 > > — Takesen - 武仙＠一緒にMixed Realityやろうぜ！(採用拡大中) (@takesenit) [2021年5月8日](https://twitter.com/takesenit/status/1390908632112328704?ref_src=twsrc%5Etfw) > ってことで、超絶長くなりましたがｗ、LiDARについて調べてたら日が暮れそうな勢いでしたｗ > > 「LiDARセンサーの供給元」のLiDARを広義の「Light Detection and Ranging」と考えるとiPhone一台に何系統も搭載されてる。 > Rearの狭義LiDAR、FrontのTrueDepthに2～3系統。 > > — Takesen - 武仙＠一緒にMixed Realityやろうぜ！(採用拡大中) (@takesenit) [2021年5月8日](https://twitter.com/takesenit/status/1390929411893985281?ref_src=twsrc%5Etfw) > しかも、それぞれの部品をマルチソースにしてる可能性も高そう。 > > 今回の4億円という投資も、今後の戦略技術や部品の生産キャパをAppleが自社用に囲い込みつつ向上させて、更に大量に使ってく方向性と考えると、、、やっぱりおれたちの大好きなLiDARの時代がやってきたって感じですねｗ > > — Takesen - 武仙＠一緒にMixed Realityやろうぜ！(採用拡大中) (@takesenit) [2021年5月8日](https://twitter.com/takesenit/status/1390930039319908356?ref_src=twsrc%5Etfw) ### LiDARだけじゃない、AppleのUS国内生産の動き？ 心臓部であるAシリーズなどもQualcomm製を使うのではなくARMコアを独自実装出来るライセンスを持ち、ユーザー体験を作るための根っこからデザインしてきたApple。コアのCPU自体はまだ台湾TSMCが長期パートナーシップの元で製造していますが、Ｍ1もMacだけでなくiPadに搭載を始めたことなどからも最新プロセスの生産キャパ問題がレポートされています。 [thebridge.jp](https://thebridge.jp/2020/11/apple-blamed-ibm-and-intel-for-mac-chip-delays-but-tsmc-wont-be-next-the-first-part) 情勢不安や米国が受けた新型コロナの打撃から国内産業の復興を政府が狙いたいのは明確。IntelがAppleシリコンの製造をしたいとのコメントを出していたり。 [japanese.engadget.com](https://japanese.engadget.com/intel-ceo-apple-silicon-120056116.html) CPUについてはまだ具体的な動きは見えていない状況ではあります。ただ、モバイルデバイスが日々の生活に溶け込んでどんどん便利になるにつれて、その体験を支えるコア部品の継続安定供給性が極めて重要になってます。 全体的にサプライチェインを自社のコントロール可能な自国内に戻そう、というような動きが加速しそうです。 そして、日本人として気になるのは、ソニーのSPAD CMOSイメージセンサはどうなるのかなってところですねｗ AppleがII-IV同様にAwardしてソニーセミコンがUS工場に投資してUS現地雇用を産む、みたいな話になるのかな？ * * * さて、ここまでが元々のAppleのAwardに関するニュース記事についての調査と、最後は重要なパーツをいかに安定供給するかが、この情勢不安な状況で国内主義的な方向で重要になって来てるんじゃないかとの仮説についてあれこれと書いてみたブログ記事でした。 そして、ここから先は調査の過程でさらに脱線しまくった部分ｗ 散文的な感じなので流し読みして頂ければッて言う感じです。 * * * ### 蛇足1: Lumentum社を調べたら、光部品メーカーの仁義なき戦いがうかがい知れた あれこれと調べていたら本筋から逸れた方向でも興味深い話があったので、蛇足としてまとめてみますｗ 現在のLiDARスキャナでVCSELアレイを供給してるとレポートされたLumentum社について調べてみたら、光部品メーカーが食いつ食われつの買収合戦を繰り広げていたのが分かり、これまた興味深かったです。 > LumentumもII-VI Incと同様にUSの会社で、通信用や産業用などのレーザー技術の会社。[https://t.co/VIo10UNFlH](https://t.co/VIo10UNFlH) > > 今年2021年の頭から、このLumentumとII-VIの2社にもう1社を含んだ合計3社で、Coherentという同じレーザー技術の企業買収を巡って泥沼の戦いをやってた模様。[https://t.co/fmNnxB5AZn](https://t.co/fmNnxB5AZn) > > — Takesen - 武仙＠一緒にMixed Realityやろうぜ！(採用拡大中) (@takesenit) [2021年5月8日](https://twitter.com/takesenit/status/1390907007259987970?ref_src=twsrc%5Etfw) > II-VI Incは2018年にはFinisarという通信用レーザー技術の会社を買収してる。[https://t.co/eDioZeYygH](https://t.co/eDioZeYygH) > > 何となく、2000年前後に光通信用にプレイヤーが増えたのがいったんサチって買収合戦になって、今度はLiDARによる3Dセンシング用で市場が盛り上がって来てる感がある。 > > — Takesen - 武仙＠一緒にMixed Realityやろうぜ！(採用拡大中) (@takesenit) [2021年5月8日](https://twitter.com/takesenit/status/1390907896653705227?ref_src=twsrc%5Etfw) 2018年のII-VIとFinisarの買収劇をまとめたブログに掲載されていたチャートが、ビジュアルからしてすでに激しい。ディープパープルのメンバーチェンジ遍歴みたいｗ
II-VI社の買収遍歴(https://www.sevensix.co.jp/tech/blog/20210423_523/)
II-VI社の買収遍歴(https://www.sevensix.co.jp/tech/blog/20210423_523/)
FinisarにしてもCoherentにしても、ここで名前が出てくる会社の多くが産業用や通信用レーザーを作っていた企業。武仙も以前SFPの光モジュールとか扱ってたときにFinisarとかは競合他社で名前を聞いた記憶があります。 これは完全に想像ですが、2000年以降ネットワークにおける光通信バブルが起きて、メトロ側からOC-192とか光インターコネクトとかでニーズが出て、FTTHとかが流行って、、、っていうタイミングで多くのメーカーが通信用光部品に投資を実施。あるタイミングで光化がひと段落して横ばいになった市場に対してプレイヤーが多かったので統合が進んだのか、それから更に高付加価値化が求められて企業体力のあるところに集約が行われたのか、など色々となぜこんなに買収が頻繁に行われたのか考えてしまいます。 ### 蛇足2: フロントノッチ部分のTrueDepthもLiDAR？ > iPhone搭載DepthセンサーとしてはLiDARよりも歴史の長いFaceIDに使われる「TrueDepth」にも同様にVCSELアレイが使われて、サプライヤーとしてII-VI IncとLumentumの名前も出てくる。 > > Lumentumは台湾の化合物半導体ファンドリーWin Semiconductorsに生産委託してるとのこと。[https://t.co/Sbkp4gMi9A](https://t.co/Sbkp4gMi9A) > > — Takesen - 武仙＠一緒にMixed Realityやろうぜ！(採用拡大中) (@takesenit) [2021年5月8日](https://twitter.com/takesenit/status/1390909705262751745?ref_src=twsrc%5Etfw) > ちょっと前2018年の機種、iPhone Xの記事なので最新ではないかもですが、TrueDepth用含めたフロント光学系のTierdownが、ややこしいｗ[https://t.co/8K9rjATK0o](https://t.co/8K9rjATK0o) > > Depth自体はオーストリアams社Dot投光器とSTMicroのSPADモジュールらしい。(Light Coding方式) [pic.twitter.com/8sPVWPcllU](https://t.co/8sPVWPcllU) > > — Takesen - 武仙＠一緒にMixed Realityやろうぜ！(採用拡大中) (@takesenit) [2021年5月8日](https://twitter.com/takesenit/status/1390915717394882560?ref_src=twsrc%5Etfw) > 紛らわしいのがFlood illuminatorとProximity SensorがSTMicro製で、これがTime of Flightを名乗るときがあるｗ > > そしてこのFlood illuminatorもVCSELを使うし、別なams製のALS(Ambient Light Sensor)もVCSELだったりする模様。 > > — Takesen - 武仙＠一緒にMixed Realityやろうぜ！(採用拡大中) (@takesenit) [2021年5月8日](https://twitter.com/takesenit/status/1390916024178937862?ref_src=twsrc%5Etfw) このTrueDepthを調べてる過程で「すごいことに気づいた！」って思ったんですが、、、すぐに間違えてることをあるしおうねさんにご指摘頂きましたｗｗ > なんか、すごい細かい事に気づいたかも。。。フロントカメラもDepthをちゃんと2種類使ってる模様。 > > 1) TrueDepth ～ 顔認識用、Emojiなど > 2) FaceID ～ TrueDepthを使わずにFlood illuminatorのToFだけで「顔認証」してる > > 今色々と実験してみて気づいた。。。勘違いしてた。 > > — Takesen - 武仙＠一緒にMixed Realityやろうぜ！(採用拡大中) (@takesenit) [2021年5月8日](https://twitter.com/takesenit/status/1390923739672416259?ref_src=twsrc%5Etfw) > 1) 細かな3Dの顔認識をする際にだけDot Projectorがオンになる。 > > 3Dスキャン用アプリだったり、SMSで顔認識を使ったミー文字を使う際。 > > 呼び方もTrueDepthじゃなくって、、、なんて呼んだらいいんだろう。。。もう、初代KinectとかPrimeSenseって呼んでいいですか？ｗ[https://t.co/ywuLz9t1GQ](https://t.co/ywuLz9t1GQ) [pic.twitter.com/52fWruXDAL](https://t.co/52fWruXDAL) > > — Takesen - 武仙＠一緒にMixed Realityやろうぜ！(採用拡大中) (@takesenit) [2021年5月8日](https://twitter.com/takesenit/status/1390925209432039427?ref_src=twsrc%5Etfw) > 2) FaceID用にFlood illuminatorを使って顔認識をしてる様子。 > 二つ光源があって、スタンバイから電源を押してロック状態で明滅する方が恐らくFlood illuminatorで、この反射を見て3D顔認証してるっぽい。 > もう一つは認証後のロック画面でも、ロック解除後通常動作時にもずっと点滅してる。 [pic.twitter.com/azz8x7cqyj](https://t.co/azz8x7cqyj) > > — Takesen - 武仙＠一緒にMixed Realityやろうぜ！(採用拡大中) (@takesenit) [2021年5月8日](https://twitter.com/takesenit/status/1390927292461846531?ref_src=twsrc%5Etfw) > 自分の認識だと、必要な場合にFloodとドットパターン照射を両方組み合わせてますね。Floodで「画像としての顔」の認証を行った後、それが「顔の形をしているか」をドットパターンを照射して3次元計測して判別していると思っています。これが写真印刷した紙では突破できない理由なのだなと [https://t.co/74NcZYU9dL](https://t.co/74NcZYU9dL) > > — あるしおうね (@AmadeusSVX) [2021年5月8日](https://twitter.com/AmadeusSVX/status/1390957746443350019?ref_src=twsrc%5Etfw) まだちゃんと実験してないんですが、原理的にFaceID認証の一瞬だけドットパターン側も照射されているはず。 > 2) のFaceID時のFlood illuminatorじゃない方はProximity Sensorと書いてるのでこれもIRを使って反射を見てるセンサーっぽいですね。 > > FaceID時には照明替わりにずっと点灯してて、顔認証後は点滅動作になって低消費にしてるけれど、画面の前に顔(らしきもの)があるのかどうかを見てるのかも。 > > — Takesen - 武仙＠一緒にMixed Realityやろうぜ！(採用拡大中) (@takesenit) [2021年5月8日](https://twitter.com/takesenit/status/1390928051832164352?ref_src=twsrc%5Etfw) * * * ということで、AppleのiPhone/iPadに搭載されてる光学センサー関係を調べてみたら超大作ブログが出来上がっちゃったというお話でしたｗ 目に見えない赤外線を操って、めちゃめちゃ限りあるバッテリー容量を有効に活用しながらも色々なUXをさりげなく、かつ結構野心的に実装してあるのが垣間見られました。 赤外線と同じく目に見えないとの観点では非接触充電用だったりU1チップによる超音波広帯域通信だったりと、これまた光学センサーと組み合わせたら面白そうな技術がすでに搭載されていて、、、センサー好きテクノロジー好きとしては引き続きAppleのモノヅクリやUXデザインに目が離せない状況が続きそうです！ * * * ホロラボではLiDARスキャナを使ったiOSアプリも開発しています。 開発のお問い合わせはこちら。 [https://hololab.co.jp/#contact](https://hololab.co.jp/#contact) また、ARKitやLiDARを使ったiOSアプリ開発者も激しく募集しています！ [hololab.co.jp](https://hololab.co.jp/recruit/#pe-accordion-item-3-6) 面白そうだなと思って頂けたら、ぜひお気軽にお問い合わせください！