意図はkernel-optionsがpysparkまたはsparkカーネルに転送されるだろうコマンドラインからJupyter spark/pysparkノートブックのメモリとCPUを指定する方法は？
jupyter-notebook --kernel-options="--mem 1024m --cpus 4"
の線に沿って何かを達成することです。
同じマシン上にpysparkカーネルとspark (in scala)カーネルの1つのJupiterサーバーを別々に実行するには、これが必要です。単一のjupyterサーバが同時に実行しているpysparkと(scala) sparkカーネルを同時にサポートしていないため、これが必要です。
Jupyter 4.0については、後であなたがこのようなスパーク対応のノートPCを起動することができます。[オプション]を使用すると、pysparkに渡す任意のフラグのリストである
pyspark [options]
。あなたは、Apache Toreeを使用している場合、あなたはSPARK_OPTS経由でそれらを渡すことができ、
export PYSPARK_DRIVER_PYTHON="/path/to/my/bin/jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PYSPARK_PYTHON="/path/to/my/bin/python"
また：仕事に、あなたは.profileの環境変数を次のように設定する必要があります。このため
SPARK_OPTS='--master=local[4]' jupyter notebook
Apache Toree setupの詳細を参照してください。