こんにちは！ 株式会社カシカ社長の奥です。
新しいiPad Proが発売されましたね。 今回の目玉はなんといっても LiDARセンサー搭載。
弊社ではカタチスペースという、写真を撮るだけで簡単に立体ARをつくれるサービスをリリースしていますが、 今回のiPad ProのLiDARセンサーでより正確なカタチが撮影しやすくなるのではないかと期待しています。
LiDARセンサーって何なの？
appleのサイトより引用: https://www.apple.com/jp/ipad-pro/
LiDAR とは、Light Detection And Rangingの略称で、 車の自動運転のためのセンサーや航空機に空撮計測などでよく利用されている距離センサーです。 計測方式は、赤外線の光を発し、その光が物体に衝突してから跳ね返ってきた時間で 物体と光源との距離を計測する方式です。
下記がわかりやすい説明のサイトかと思います。 https://jp.techcrunch.com/2017/02/13/20170212wtf-is-lidar/
これまでも距離を計測するセンサーはありましたが、 光の特性を利用する一部のセンサーは晴天の屋外では利用できないものがあります。 車や航空機でも利用される方式のセンサーがタブレット端末に搭載されたというのは 3Dスキャンを利用する業界でも非常に大きな話題となっています。
LiDARセンサーでARはどう変わるのか？
早速、iPadでカタチスペースのARを試してみました。
ARをやっているとすぐにわかるのですが、iPhoneなどではARを前に 「iPhoneを動かしてください」と表示がでます。しかし新型iPadでは そのような表示は出ずに、いきなりARのオブジェクトが目の前に出てきます。 煩わしい、ARのための準備体操が要らないわけです。 これはユーザーにとってはとても便利ですね。
オクルージョンを試してみました。 すごいですね。ARオブジェクトがちょうどある位置に手を差し入れると 重なる部分だけARオブジェクトの中に指が沈む感じがみえます。
iPhoneXR以降のiPhoneは人の手や体がARオブジェクトの手前か後ろかを判定し、 ARオブジェクトに重なる場合ARオブジェクトを表示したり、隠蔽（オクルージョン）する機能があります。 カタチスペースで撮影したARオブジェクトを目の前に表示し、 手で触ろうとすると、オブジェクトの手前に手があると手が見えて、 奥に差し入れると、オブジェクトが見えるようになります。
iPhone11ではどうだったかというと、
オクルージョンされなくはないのですが、ARオブジェクトよりも手前に手がある位置なはずなのですが ARオブジェよりも奥に手があるような表示になっています。
自分のiPhoneやAndroidで試してみたい方はこちらのURLからすぐに試すことができます。 このカタチを見てみる
LiDARセンサーでカタチはうまく撮れるのか？
LiDARセンサーによる、ARの表示の性能が良かったので、 LiDARセンサーによるカタチの撮影の機能向上も期待しちゃいますよね。
まずはインカメラで撮影したいつものクマのぬいぐるみのAR
インカメラのTrueDepthセンサーは iPhone11とほぼ変わらない感じですね。 また、ARを見るときは大きい画面だと目の前を覆う面積が広いので、没入感あります。
さて、LiDARセンサーを使った機能をAppleが公開したサンプルで試します。
動画バージョン:
結構ポリゴンが荒いですね。 ポリゴン自体はかなり高速に生成されているのでカタチの撮影でも利用できそうですが、 ちょっと三角形の大きさが荒すぎるので、このままではカタチに使うのは難しそうです。
ちなみにインカメラでカタチ撮影した時のポリゴンはこんな感じです。
こっちのほうが三角形の目が細かいですね。ちゃんとしたカタチを見るためには、 このくらいの三角形の細かさが必要になってきます。
Appleの今後に期待
じゃぁLiDARセンサーだめなんじゃ？という訳ではないです。 おそらく、Appleの意図としては、ARの表示向けの新機能なので、 ARを計測するためのセンサーではないというところでしょう。 しかし、LiDARセンサーは、従来のデュアルアウトカメラよりも 高性能な奥行情報を取得できる可能性は高く、 それは今回のオクルージョンの結果からも明らかで、 その奥行情報を利用したカタチの生成は、かなり期待していいと思います。
しかし、現在のところ、LiDARセンサーの生データ（RAWデータ）が取得できず、 計測した結果から生成されたポリゴンMESHしか撮れないため、 これを利用したカタチの生成というのは難しそうです。
おそらく今後、LiDARセンサーの生データを取得できるAPIは出てくるんじゃないかなぁ と期待したいところなので、今後に期待！というところで今回の記事は締めたいと思います。
とはいえ、近日バックカメラで撮れるようにします。
結局撮影できないんかい！という突っ込みを頂きそうですが、 現在、カタチをバックカメラで撮影できるような機能を開発しています。 先月カタチスペースを公開してから、インカメラでは撮りにくい、 バックカメラで撮りたいとの要望を多くいただいております。 現状のバックカメラだと、正確なカタチが撮れないのですが、 開発を進める中で、撮影時にサイズを調整すれば、うまく撮れそうなことがわかってきました。 ４月には公開できるとおもいますので、是非皆様楽しみに待っていてください。
カタチスペースアプリ配信中
カタチスペース アプリはAppleストアで現在配信中です。
現在は iPhone X以降をお持ちの方はカタチの撮影が可能です
皆さん、是非インストールしてお試しください！