7

プロジェクト:3D顔復元アルゴリズム

入力:2D正面顔画像出力:3D顔復興表現シミュレーションプラットフォーム:Matlabのか、OpenCVのCPP。

3D Morphable Models(3DMM)アルゴリズムが私のプロジェクトの出発点であることがわかった。しかし、アルゴリズムを実装するバーゼル顔モデル(3D顔データベース)はありません。しかし、私はhttp://gavab.escet.urjc.es/recursos_en.htmlからGavabDBをダウンロードしました。正面から3次元顔を再構成するためにGavabDBを使用して3DMMを開発することはできますか?データセットの説明文書を読んだ後、Gavabは3Dスキャンのテクスチャデータを提供していないことがわかりました。テクスチャデータは必須ですか?

出力品質はモデリングに使用される3Dデータベースに依存しますか?

答えて

5

original morphable modelと同様の主要研究者のバーゼルフェイスモデルには、テクスチャとジオメトリが含まれています。

モーフィングモデルのジオメトリ部分をテクスチャなしで3Dジオメトリデータから計算することは完全に可能です。これは、形状の統計的に最も重要な変化をキャプチャするモデルを提供します。

しかし、モデルをテクスチャと照合するよりも、純粋なジオメトリモデルを2Dの顔画像に一致させることは困難です。それは本質的に...

  1. があなたの2D顔画像に3D用
  2. 最適化をもたらすと3Dモーフィングでそれぞれの目印をもたらす形状パラメータをいくつかの目印点の位置を特定する(または注釈)する必要がありますモデルが不明なカメラで投影した後、注釈付きランドマークの近くにある

これは興味深い問題ですが、些細な問題ではありません。ステップ2については、正投影を仮定して開始することをお勧めします。

出力品質に関する質問:データベースに十分な数の3Dモデルがある場合、個々のスキャンの品質は特に高いとは限りません。実際に使用するモデルの主要コンポーネントにノイズが現れません。しかし、スキャンの穴は問題です。

最後に、恥知らずなことに、私は数年前に書いたpaperにあなたを指摘しましょう。それはあなたの問題を解決するものではありませんが、写真から抽出した2D顔のシルエットに3Dモーフィングモデル(ジオメトリのみ)をフィッティングするセクションが含まれています。