英語の文章のみを抽出する

Question

FacebokとTwitterから投稿とツイートをデータベースに抽出して分析する必要があります。私の問題は、システムが英語の文章（フレーズ）のみを処理できることです。どうすれば私のデータベースから英語以外の投稿やツイートを削除することができますか？

NLPのアルゴリズムがあれば分かりますが、教えてください。

おかげで、通常は好ましい可能自動言語識別回避に関して

Answer 1

私はこのプロジェクトを見つけましたが、ソースコードは非常に明確です。私はテストして、それはかなりうまく動作します。 http://code.google.com/p/guess-language/

Answer 2

- 例えば、ツイートは役に立つかもしれないフィールドiso_language_codeを含む返さhttps://dev.twitter.com/docs/api/1/get/searchショー。

それが十分ではない場合、あなたが使っているものは何でも言語で既存の言語識別ライブラリのいずれか

• 調べる必要があります。または
• 十分な量の英語のテキスト（英語のWikipedia、Google N-gramモデルのダンプ）を手に入れ、http://www.cavar.me/damir/LID/のようなものを実装します。

Answer 3

英語の辞書を入手して、テキスト内の単語の大部分がその中にあるかどうかを確認してください。オンラインテキストを見ているので、共通のスラングと略語を必ず含めてください。

辞書をtrieデータ構造体に格納すると、これは非常に速く実行できます。

私はファンシーNLPは、このタスクのために少し過剰ですと思う。言語が英語でない場合は、その言語を特定する必要はありません。そのため、英語の簡単な特徴を使ってテキストをテストするだけです。

Answer 4

私はツイートの言語検出に標準ライブラリを使用しようとしました。名前、笑いなどには多くの非標準文字が存在するため、多くの偽陰性が発生します。この問題は、信号対雑音比が低い小規模な投稿ではさらに深刻です。

主な問題はアルゴリズムではなく、古いデータソースです。 Twitterから新しいものをクロール/ストリーミングすることをお勧めします。 Twitterの言語フラグは地理情報に基づいているため、すべての場合に機能しません。 （中国人はまだ米国で中国語の投稿をすることができます）。私は多くの英語を話す人のホワイトリストを使用し、その投稿を集めることを提案します。

Answer 5

私は正しい思い出している場合、私は95 +％正確だった少しツイート言語分類（英語かどうか）を書いた。私はそれがちょうどナイーブbayes + 1000トレーニングインスタンスだったと思う。それを位置情報と組み合わせれば、さらに良いことができます。

Answer 6

LSI（潜在セマンティックインデックス）& LSA（潜在意味解析）のSVD（単一値分解）を試しましたか？参照：http://alias-i.com/lingpipe/demos/tutorial/svd/read-me.html