3

私は表情認識の分野ではかなり新しいです、そして、現在、私はディープラーニング、特にCNNでこれに関する研究をしています。データの準備や前処理に関する質問があります。CNNの表情認識データの準備

私は正面の表情の動画を分割しました(たとえば、アノテーションに基づいて幸せな感情を表現する人の動画を2〜3秒間)。

:今、どのように私はCNNとの訓練のための私のデータを準備する必要があります(I:私の参加者が表示された表現は、非常に低強度(ない誇張表現/マイクロ表現)

一般的な質問であります深い学習ライブラリ、TensorFlowを使用して少し傾いていますか?

質問1:私は読んだことがあるいくつかの深い学習に基づく表情認識(FER)、その式のピーク(おそらく単一の画像)を取り、あなたのトレーニングデータの一部として、そのイメージを使用することをお勧めの論文。表現のピークをどうやって知ることができますか?私の基礎は何ですか?私が単一のイメージを撮るなら、参加者が表現した表現の微妙なフレームは失われないでしょうか?

質問2:または(例えばビオラ・ジョーンズ)を検出クロップ及びフレーム毎に顔を保存し、私の研修の一環として、これらの画像を使用するためにOpenCVの中にセグメント化されたビデオを実行するようにしても正しいだろう適切なラベルを持つデータ私は顔のいくつかのフレームが重複していると推測しています。しかし、データの参加者が表現の微妙な表現(微表現)を示していることを知っていたので、顔の動きも重要になる可能性があります。

本当にありがとうございました

答えて

2

@ユニークサルはすでに指摘したように、これは一般的に監督された学習課題です。独立した「ピーク」点を抽出したい場合は、入力画像をスキャンし、参照点が被験者の休息状態から最もずれている各シーケンス内のものを見つけることをお勧めします。

静止状態になっていない場合、ビデオクリップはどのように切り取られますか?例えば、被験者は表現を行い、それを保持するように指示されたか?クリップカバーは、表現の前半、後半、後半のどの部分に含まれますか?ビデオクリップの一方または両方の端点を取ります。各端点からの基準点の動きをグラフ化し、その差が最大であるが、他方の端点に向かうフレームを探す。

+0

それは私が言及することを忘れたものです。私のデータには自発的な表情が含まれています。最初は、セッション全体で特定のアクティビティを実行しながら、被験者が記録されていました。セッションの後、彼/彼女は彼/彼女がビデオでの一定期間の間に特定の表現は、例えば幸せであることを考えれば、彼/彼女が幸せになるためにその期間に注釈を付けるだろうここで全体の活動に注釈を付けることが求められています。それがプロセスです。ビデオは、被験者の注釈に応じてトリミングされたので、私は、私はピークを決定するものであろうあれば、それは主観的な判断をかもしれないと思います。おかげ – Renz

+0

は、これはあなたが* *不特定の感情的な状態にあるの対象者自身の評価に、そして、ビデオの上に静止状態を持っていないことを意味します。その場合、私の最初の段落が適用されます。 – Prune

+0

あなた後者の点に言えば、はい、全体の感情を表現するためにビデオクリップを使用することは有用であろう。しかし、現場を理解しておけば、これはあなたのアプリケーションにとって過度のことです。代表的な「ピーク」フレームで十分です。 – Prune

1

答え1は:一般的に我々は常に表現

答2(私はあなたが笑顔と笑いの違いを見分けることができると思います)のピークである表現を決定するために、人間の感覚に依存します。あなたの場合良い結果を出すためには、この方法のようにデータをあまり扱わないことをお勧めします。

+0

** Answer 1 **:あなたはそうです、人間の感覚で表現を認識するのはかなり簡単ですが、特定の表現が(例えば)私の判定?他の人にはどうしたらいい?恐怖や怒りなどを表現する方法はどうすればわかりますか? **回答2 **:これは実際には中立ですが、なぜ参加者の表現力が低いのですか?顔の小さな動きは重要ではありませんか? – Renz

+0

@Renzあなただけの問題のキーポイントは、機械学習モデルがどうかあなたと同じ判断力を持っているか、いない可能性があることです、自分でそれを判断することができます..... –

+0

すみませんが、私はまだ手動で確信していません私の理解に偏っている可能性があるので、表現の特定のピークを選択する。私はあなたがこれを行ういくつかの論文を持っていると助けになると思いますので、私はこれについて自信を持って論じることができます。ありがとう – Renz

関連する問題