3D画像データセットの特徴抽出

Question

SIFT、SURF、またはMSER法を使用して2D画像特徴抽出のワークフローを行い、続いて分類器を訓練するために符号化され、その後使用される語彙/

3Dデータセットの類似のアプローチ、例えば3DボリュームのMRIデータがあるかどうかは疑問でした。 2D画像を扱う場合、各画像は、検出され、索引付けされるべき特徴を有するエンティティを表す。しかし、3Dデータセットでは、3次元エンティティからフィーチャを抽出することは可能ですか？ 3D画像を複数の2D画像（スライス）に分解することで、これをスライスごとに行う必要がありますか？ 3D情報を保持したまま3D次元を2Dに縮小する方法はありますか？

いずれのポインタも大歓迎です。

Answer 1

事前に訓練された3D畳み込みニューラルネットワークを使用して3Dボリュームを渡すことで、フィーチャ抽出を実行できます。事前にトレーニングされた3D CNNは見つけるのが難しいため、類似したデータセットで独自のトレーニングを検討することもできます。

Hereは、Lasagneの3D CNNのコードのリンクです。著者は、3D CNNバージョンのVGGとResnetを使用しています。

また、ボリュームの各スライスで2Dフィーチャ抽出を実行し、PCAを使用して各スライスのフィーチャを結合して、次元を妥当なものに減らすことができます。このためには、ImageNetの事前訓練を受けたResnet-50またはVGGの使用をお勧めします。

ケラスでは、これらはhereです。

Answer 2

行列として数学的に記述できるグレースケールの2D画像を仮定します。行列の概念を一般化すると、理論的にはtensors（理論的には多次元配列を考えることができる）という理論が得られる。私。 RGBの2D画像は、テクスチャサイズ[幅、高さ、3]として表されます。さらに、RGB 3D画像は、テクスチャサイズ[幅、高さ、奥行き、3]として表されます。さらに、行列の場合と同様に、テンソルとテンソルの乗算を行うこともできます。

たとえば、入力として2D画像を持つ典型的なニューラルネットワークを考えてみましょう。このようなネットワークは、基本的に（ノードでの要素ごとの非線形演算にもかかわらず）行列 - 行列乗算以外は何もしない。同様に、ニューラルネットワークは、テンソル - テンソル乗算を実行することによってテンソル上で動作する。

ここで、特徴抽出の質問に戻ります。実際、テンソルの問題は高い次元性です。したがって、現代の研究上の問題は、初期（最も有意義な）情報を保持するテンソルの効率的な分解に関する。テンソルから特徴を抽出するためには、テンソルのランクを下げるために、テンソル分解アプローチが良いスタートになるかもしれない。機械学習におけるテンソルには、いくつかの論文は、次のとおりです。

Tensor Decompositions for Learning Latent Variable Models

Supervised Learning With Quantum-Inspired Tensor Networks

Optimal Feature Extraction and Classification of Tensors via Matrix Product State Decomposition

これは背後にある数学は容易ではないにもかかわらず、お役に立てば幸いです。