Hololens - カメラフレームへのアクセス

Question

3Dモードでホロレンスカメラからビデオストリームのすべてのフレームにアクセスするにはどうすればよいですか？私はC＃を使用しています。 http://docs.unity3d.com/550/Documentation/ScriptReference/VR.WSA.WebCam.VideoCapture.html

をし、方法MediaCapture.StartPreviewToCustomSinkAsyncとマイクロソフトMediaCaptureクラスは非常によく文書化されていません。

団結VideoCaptureクラスには、これを提供していないようです。 https://msdn.microsoft.com/en-us/library/windows/desktop/ms701626(v=vs.85).aspx

Answer 1

あなたはMediaCapture FrameReaderのAPIに

ドキュメントを使用して試すことができます： https://msdn.microsoft.com/en-gb/windows/uwp/audio-video-camera/process-media-frames-with-mediaframereader#create-a-frame-reader-for-the-frame-source

サンプルコードを：https://github.com/Microsoft/Windows-universal-samples/tree/master/Samples/CameraFrames

Answer 2

私たちはこのニーズに応えるためにCameraStreamと呼ばれるオープンソースプロジェクトを作りました。 Unityプラグインとして、MediaCaptureを使用してバイト配列をUnityに渡します（ロケータブル行列とともに）。そこから、提供されたUnityの例に示すように、Texture2Dにバイトを割り当てることができます。

私たちのVideoCaptureクラスの模倣者のUnity's class of the same nameは、開発者がその使い方をよく知っています。また、この機能は最終的にはUnityによってすぐに提供されることを前提としています。