大きなドキュメントセットをビジュアル化するにはどうすればよいですか？

Question

私は100Gbの文書を持っています。私はそれを特徴づけて、トピックが流行していることの一般的な感覚を得たいと思います。

文書はプレーンテキストです。

私はGoogleデスクトップのようなツールを使って検索することを検討しましたが、検索対象を推測するには大き過ぎて、セット全体をカバーするのに十分な検索を実行するには時間がかかります。

大きなデータセットのドキュメントをクラスタリングするツールはありますか？

このようなクラスターを視覚化できるツールはありますか？

Answer 1

基本的なNLP手法では、単語の頻度に基づいて各文書をベクトルとして表現し、ベイズ法や他の方法（SVM、k-meansなど）を使用して文書ベクトルをクラスタリングできます。

関連の回答については、somewhat similar SO questionをご覧ください。

Answer 2

自然言語処理を行うツールを調べる必要があります。基本的には、文書の言語（http://en.wikipedia.org/wiki/N-gramを参照）と談話のドメイン（http://en.wikipedia.org/wiki/Support_vector_machineを参照）を確実に（統計ツールを使用して）決定できます。あなたがウィキペディアから始めるなら、いくつかのツールが利用可能になるはずです。