Railsアプリケーションで自然言語処理を行う最善の方法は何ですか？

Question

私はRailsアプリケーションを持っています。私は自動テキスト分類アルゴリズムを実装する必要があり、アプリでNLP機能を追加する必要があります。私は、RubyにはPythonが提供する優れたNLPツールがないと信じています。私はプロセスバックグラウンドジョブのために別の再スケーリングサーバーを使用しています。私は

ジョブをresqueする話すことができるのいずれか、または自動的に処理結果をアプリケーションのデータベースを更新することができ、別のサーバー上のフラスコアプリケーションを実行しますresqueジョブを使用して

1. 実行Pythonスクリプトを以下していると信じています。 this thread
2. で述べた使用Rubyのツールは、他の提案が

を歓迎

私はそれを行うための最善の方法は何か教えてください。同様の実例がありますか？

Answer 1

私は数ヶ月前に同じ問題がありました。研究とテストの少し後に、これは私が実装した解決策です

いくつかのpythonプロセスを実行します 1台のマシンが保持できる多くの。また、必要な数のマシンを使用してください。オーバーヘッドが重要であり、それはZeroMQに比べて非常に遅くなりますので、を伝達するためにHTTPを使用しないでくださいWebサーバとPythonのプロセス

を実行しているマシン間を通信するため

使用ZeroMQ。あなたはHTTP

でのみ内部ネットワークにZeroMQソケットを公開するように注意してくださいだろうか、それぞれのpythonサーバー上で認証を設定する必要があるだろうとして、あなたはまた、ZeroMQのように複雑なハンドラを必要としません

別オプションは、コーパスベースのアルゴリズム（POSタギング、感情分析など）を必要としない場合、多くの利用可能なNLP APIのうちの1つを使用することです。