pyspark

6熱

2答えて

私は、KryoシリアライザがApache Sparkで使用すると、より高速なシリアル化を提供できることを読んだ。しかし、私はPythonを使ってSparkを使っています。 Kryoシリアライザに切り替えると、まだメリットはありますか？

1熱

1答えて

私はSparkを初めて使っていて、Pythonを使用してSQLを起動する簡単なスクリプトを書いています。私の問題は、実行の開始フェーズでは完全に正しかったが、徐々に減速し、最後のフェーズの最後にアプリケーション全体がハングするということです。 16/03/29 09:05:50 INFO TaskSetManager: Finished task 96.0 in stage 416.0 (TID

0熱

1答えて

Amazon awsでSparkContextを作成するためのマスターノードのURLに言及するポート番号を見つける方法は？

Spark 1.6はAmazon AWSで実行しています。私はマスターノードのURLを渡すことによってSparkContextを作成するこのコードを実行しようとしていますが、接続が拒否されました。私の現在のコードは次のとおりです。私はこのコードを実行すると import fnmatch import os import sys from os import system from sys

0熱

1答えて

クロスランゲージ（pythonとscala）の疎のデータ/ deser？

私は、Python側で疎なデータを表現/構築し、そのデータをストレージに出力してからspark/scalaアプリケーションにロードする必要があるアプリケーションに取り組んでいます。シリアライズ/デシリアライズに使用するフォーマット/ライブラリについてのご意見はありますか？

3熱

2答えて

データフレームの列のすべての値をpysparkに置き換えます。

sparkデータフレームの列のすべての値を特定の値に置き換えることを検討しています。私はpysparkを使用しています。私は10に列column_nameのすべての値を置き換えたいここ new_df = df.withColumn('column_name',10) - 私のようなものを試してみました。パンダでは、これは df['column_name']=10で行うことができます。私はスパーク

-1熱

3答えて

PySpark：最初に発生したRDDから複製を削除するにはどうすればいいですか？

RDD内のキーの重複を削除し、キーの最小出現回数（キーの一部）を保持する方法はありますか？キーに比較です値の例： RDD = [（ '2A'、1）、（ '2B'、2）、（ '2A'、3）、（ '1A'、3）、（ '1B'、16）] 出力：[（ '1A'、3）、（ '2A'、1）、（ '2A'、3）] キーを比較する[2]すべての出現を最小限の価値に保ちます。「2」で始まるすべてのキーの例では

0熱

1答えて

pipeline RDDでflatMap（）を使用するには？

6熱

1答えて

Jupyter＆PySpark：複数のノートブックを実行するには

Spark 1.6.0を1台のMaster（スタンドアローン）、8G RAM搭載の2xワーカー、2CPUの3つのVMで使用しています。私は下にカーネルの設定を使用しています： { "display_name": "PySpark ", "language": "python3", "argv": [ "/usr/bin/python3", "-m", "IPy

4熱

1答えて

がPySparkにRowMatrixメソッドにアクセスすることはできません：columnSimilarities（）、computeColumnSummaryStatisticsを（）

私は特に、この記事で言及columnSimilarities（）関数を関数columnSimilarities（）、computeColumnSummaryStatistics（）を使用しようとしています： https://databricks.com/blog/2014/10/20/efficient-similarity-algorithm-now-in-spark-twitter.html

0熱

1答えて

パーティション分割されたデータを再パーティション化する

私は、最小のパーティションが64MB未満で、最大のパーティションが1GB以上になるような、歪んだデータの問題に取り組んでいます。私は、いくつかの小さなパーティションを同じパーティションキーにマッピングし、パーティションで構成されるパーティションを作成する戦略を検討してきました。これは、タスクサイズのばらつきやディスクに保存されているファイルの数を減らすためのものです。私のSparkアプリケーショ