ARKitから特徴点を取得

Question

ARkitの未処理の特徴点を取得したい場合、このAPIは疎な点群を公開します：https://developer.apple.com/documentation/arkit/arframe/2887449-rawfeaturepointsをvector_float3のリストとして出力します。また、これらのポイントクラウド座標のそれぞれに特徴点のベクトル表現を持たせたいと思います。たとえば、SIFT、SURF、BRIEF、またはARkitが内部で使用するものなどです。私はちょうどビデオフィードから画像をつかみ、画像上に特徴検出器を走らせることができますが、特徴点が疎なポイントクラウドの点と同じ3D座標にあるという保証はありません！

Answer 1

Appleは、特徴点の特定/生成のための内部メカニズムを公開していません。これはApple APIにとって典型的なことです。APIを使用するすべての船積み製品の経験を自動的に改善するため、将来的にこのようなアルゴリズムを変更できるようになるため、基礎アルゴリズムの詳細を開示せずに結果を公開する傾向があります。

実際には、Appleはその非常に理由を引用して、リンクドキュメントページ上で右そこに... 1は、点群の分析使用を避ける必要があることを意味します

ARKitはその数を保証するものではありませんし、生の特徴点の配置は、ソフトウェアリリース間、または同じセッション内の後続のフレーム間であっても安定したままである。