Kinect v1 with unityへの処理

Question

kinectを介してホロレンスにエクスポートされるホログラムを作成したいと思います。しかし、それは非常に遅いです。

私はthisチュートリアルを使用してポイントクラウドデータを収集し、thisライブラリを使用して、データを3Dオブジェクトとして.obj形式でエクスポートします。 objが輸出するライブラリはポイントを受け入れないので、小さな三角形を描かなければなりませんでした。自分のローカルxamppに.obj .pngと.mtlファイルを保存します。

次に、ファイルとWWWオブジェクトを1つずつダウンロードします。私はまた、実行時に3Dオブジェクトを作成するために、ユニットのアセットストアからRuntime OBJ Importerを使用します。

最後の部分はホロレンスのユニティアプリをエクスポートすることです。 （私はそれを次にします）。

しかしその前に、 プロセスは動作していますが、非常に遅いです。私はホログラムを流動的にしたい。多くの時間が無駄になる：Kinectの

エクスポートデータの

• テイクの深さとRGBデータをOBJ PNGとMTLファイルへ
• レンダリング
できるだけ頻繁に団結上のファイルをダウンロードファイル

私はストリーミングを考えていますが、統合するためには完全なobjファイルが必要ですか？私が.pngを.jpgに圧縮すると、少し時間がかかりますか？

私に手伝ってくれるポインタがありますか？

Answer 1

現在のところ、あなたの質問の表現方法は混乱しています。後でUnityでロードしてレンダリングするポイントクラウドを記録したいのか、整列したRGBテクスチャを何らかの形でストリームクラウドにストリームしたい統一

初期の処理では処理が使用されています。

データの記録に関しては、深度とRGBデータの両方を.oniファイルに記録できるSimpleOpenNI libraryを使用することをお勧めします（RecorderPlay exampleを参照）。

レコーディングが完了したら、各フレームをループし、フレームごとにファイルに頂点を格納することができます。

.objに保存するには、ポイントクラウドをメッシュに変換する必要があります（3Dの頂点を三角形分割する）。

もう1つの選択肢は、.plyのような形式でポイントクラウドを保存することです。 あなたがデータをストリーミングに関してはthis answer

の処理で.plyファイルへの書き込みについての詳細情報を見つけることができ、これは複雑になる。

• あなたは、それはそれはたくさんのだすべての頂点をストリーミングする場合データ：さらに多くのデータになる深度（11ビット640x480）とRGB（8ビット640x480）の両方の画像をストリーミングすると、最大921600浮動小数点（（640×480 = 307200）* 3）
• 深さと全体的なスキップポイントを持つ頂点のみを送信するオプションがあります（たとえば、3点ごとに送信）。データを送信するという点では、あなたがユニティでポイントを獲得すると、ネットワークパフォーマンスの面で理想的である何render a point cloud in Unity

  にできるはずですOSC

を試すことができますコーデック（圧縮/伸張）であります深度データについては、私はそれまでこれを使用していませんでしたが、迅速に私はthis one（非常に日付）のようなオプションが表示されます。 あなたは少しの研究を行い、kinect v1の深層ストリーミングライブラリがすでにそこにあるかを見て、あなたのシナリオに適したものを試してみる必要があります。 理想的には、ライブラリがC＃で書かれている場合、それを使って受信したUnityをデコードすることができます。