0
私はgccをインストールしたLubuntu 16.04マシンを実行しています。私はdoc2vec modelを訓練するときに恐ろしく遅い1人の熟練者しか訓練していないので、gensimをcythonと一緒に働かせることはできません。cythonとgensimをpysparkで動作させる方法
私が言ったように、gccは最初からインストールされていました。私は間違いを犯してgensimをcythonの前にインストールしました。私はpip経由でgensimの再インストールを強制して修正しました。まだ効果がないのはただ1人の労働者だけです。
マシンはsparkマスターとして設定され、Iインターフェイスはsparkからpysparkに設定されます。このように動作し、pysparkはjupyterを使用し、jupyterはpython 3.5を使用します。このようにして、私はクラスタにjupyterインターフェースを取得します。今私はこれがなぜgensimをcythonと働かせないのかわからない。私はクラスタ上でgensimコードを実行しないで、gensimにもjupyterを起動するほうがずっと便利です。
私がgensimのページからわかる限り、それはCythonとは関係ありません。正確に何をやっているのですか、そしてCythonとgensimが一緒に行くと思いますか？ – DavidW
gensimにはCythonで書かれたいくつかのオプションのより高速なバージョンがありますが、Cythonをインストールする必要はありません（生成されたCファイルはGCCだけが必要となるように用意されています）。また、Cモジュールをビルドできない場合はインストール時の警告を表示し、Cモジュールがない場合はインポート時の警告を表示します。あなたはこれらの警告を受け取りますか？ – DavidW
私はword2vecのチュートリアルを読んでいます：_あなたがCythonをインストールしている場合、ワーカーのパラメータは効果があります。 Cythonがなければ、あなたはGILのために1つのコアしか使用できません（そして、word2vecのトレーニングは非常に遅くなります）。_ [here]（https://rare-technologies.com/word2vec-tutorial/）私がpipを使って行ったときには、少なくともビルドエラーは発生しません。 – Thagor