Pyspark Mac NativeCodeLoader：ご使用のプラットフォーム用にnative-hadoopライブラリを読み込めません...可能であれば組み込みJavaクラスを使用します

Question

これにより、PySparkがJupyterノートブックで正しく実行されなくなります。ネイティブのhadoopライブラリは* nixプラットフォームでのみサポートされていることを理解しています。ライブラリはCygwinやMac OS Xプラットフォームでは動作しません。どのように私はあなたがそれに応じて、次のステップを好きで、変更する場合は、別のHadoopのバージョンを選択することができます（私のJupyterノートに

Answer 1

1. ダウンロードHadoopのバイナリ（link）を実行し、あなたのホームディレクトリにそれを置くためにPySparkをインストールする適切程度行くことができます）
2. 次のコマンドを使用して、ホームディレクトリのフォルダを解凍します。 tar -zxvf hadoop_file_name
3. .bashrcファイルにexport HADOOP_HOME =〜/ hadoop-2.8.0を追加します。新しい端末を開き、もう一度やり直してください。 出典：Install PySpark on Mac