に永遠に取って、単一ノードマスタを実行しているロードEMR-5.0.0スパーク・シェルに2分かかったDATAFRAMEを使用して、ツェッペリンに永遠に取って火花シェルに2分かかったデータフレームのロードツェッペリン
0
A
答えて
0
Spark-Shellは以前のエディションのハードウェア(m1-medium)でクエリを実行できましたが、Zeppelinはメモリに最適化されたハードウェア(r3.2xlarge)を必要としました。
+0
この詳細は上記の元の質問のサポート情報の一部である必要があります。 – Kristian
0
はどうやらタスクが作成され、さまざまなコンテキスト間のクエリを実行したときに実行される方法に違いがあります。あなたのコードを貼り付けると、違いを見ることができます。
sparkシェルを実行しているときとspark-submitを実行しているときに、コンテキストの設定方法に若干の違いがあることがわかります。
関連する問題
- 1. java.lang.NoSuchMethodErrorのrdd.saveAsTextFile火花シェルによって
- 2. 火花シェルでobjectFile
- 3. シェルのバックグラウンドでプロセスを2分間実行してから、2分前に終了してください。BASH
- 4. githubデスクトップのgitシェルとしてpowerシェルを使用して色を失った
- 5. 火花が私の火花シェルから紺碧の塊にアクセスしようと紺碧
- 6. spalaを使ってデータフレームを2つ以上のデータフレームに分割する
- 7. 私はapacheの火花で2つのデータフレームを持っている別のデータフレームまたはRDD
- 8. スパークは私がマップを使用してデータフレームからなっRDDを持って
- 9. リロードページタブ/ウィンドウに戻ってからx分だけ戻った後
- 10. 火花シェルコマンド用スパーク・シェルに(elasticsearch-スパークコネクタ付き)クエリファイルを指定するための構文
- 11. 火花シェル最初の起動エラー
- 12. Jupyter Notebookが間違ったシェルを使用しています
- 13. joomla、分かち合っていると分かりました。
- 14. 火花データフレーム:2つのブール条件
- 15. なぜorddict:fetch/2が狂っているのですか? Erlangのシェルで
- 16. 行の値を区切り文字で区切って火花データフレームを分割します
- 17. vim編集ショートカットを使ったシェル
- 18. xamarinのAndroidバックグラウンドビルドは永遠に取っています
- 19. とにかくWin10の統合シェルまたは外部シェルにVSCodeのUbuntu Bashシェルを使用するには?
- 20. ビジュアルスタジオコードは、起動に2-10分かかっており、100%CPU&フリーズシステム
- 21. シェルを使ってrc.localに行を追加するには
- 22. MEFを使ってシェルからプリズムモジュールビューをロード
- 23. BeamSearchはTensorflowで永遠に取っています
- 24. サブプロセスを使ってシェル出力をリダイレクト
- 25. 負荷csvはどのように別れますか。スカラを使って火花をかける?
- 26. 使用火花ストリーミング時自身の自己によって相殺
- 27. スパーク火花提出
- 28. awkまたはシェルを使っていくつかのフィールドを変更し、それをラインに戻す
- 29. シェル内に2つの大きなテキストファイルの高速差分?
- 30. 2つに分かれたロシアの図
アプリケーションコードのスニペットを貼り付けてください。 – Kristian