新しいiPhone Xの正面カメラの深さと顔の追尾メッシュAPI

Question

新しいiPhone Xの発表をちょうど見たのは、開発者にフロントカメラのセンシングと追跡技術ですか？それはARKit

Answer 1

はい、開発者には公開されています。

今すぐARKit docs pageを見ると、それはワールドトラッキングとフェイストラッキングセクションに分割されていることがわかります（さらに、両方に共通のビットがいくつかあります）。ワールドトラッキングはWWDCでアナウンスされたもので、あなたの周りの世界のARコンテンツでバックカメラを使ってデバイスを「見る」ことができます。

Face Tracking ARは、iPhone XとTrueDepthカメラに固有です。それらのドキュメントでわかるように、それは他の設定クラスの代わりにARFaceTrackingConfigurationを使います。そして、それはARFaceAnchorオブジェクトを介してリアルタイムで顔の情報を提供します。

顔のアンカー文書では、顔情報を取得する方法が2つあるようです。 geometryは、表示できる3Dメッシュ、またはテクスチャを顔にマッピングするために使用する3Dメッシュを提供します。これは、Snapchatデモがキーノートデモでレスリングマスクを作成するために使用したものと思われます。 blendShapesは、顎が開いている距離と左目がどのようにぼんやりとしているか（およそ50種類の微妙なもの）などのアニメーションパラメータを提供します...人形やアバターをアニメーション化する方法について話しますおそらくAnimojiがどのように機能するのでしょうか？

アップルにもa sample code project showing how to do all of theseが掲載されていますので、コードを見れば自分でやる方法が分かります。 （iPhone Xなしでコードを実行できない場合でも）

Answer 2

を使っている場合はSnapchatフェイスマスクは、必ず、ステージ上ではないデモたここでiPhone X上TrueDepthのカメラを使用した例です：https://developer.apple.com/documentation/arkit/creating_face_based_ar_experiences

とブランドの新しいセッション：Face Tracking with ARKit #601

作成顔ベースのARエクスペリエンス

iPhone XのTrueDepthカメラを使用して、ユーザーの顔に沿って表情に合った3Dコンテンツを配置し、アニメートします。

このサンプルアプリケーションは、TrueDepthフロントフェイスカメラを搭載したデバイスで4つの拡張現実感（AR）ビジュアライゼーションを選択できるシンプルなインターフェイスを提供します（「iOSデバイス互換性リファレンス」を参照）。

• ARコンテンツなしのカメラビューだけです。
• 実世界の指向性照明環境の自動推定を備えたARKitによって提供される顔面メッシュ。
• ユーザーのリアルな顔に付いている（そしてその一部が隠れているように見える）仮想3Dコンテンツ。
• ユーザの顔の表情がアニメーション化されたシンプルなロボットキャラクタ。

==> 2番目のユースケースのための「ユーザの顔上置き3Dコンテンツ」というタイトルのセクションを確認してください。