pyspark

5熱

1答えて

私は2015年からの米国国内線の定時のパフォーマンス記録を分析しています。私はテール番号でグループ化し、データベースに各テールナンバーのすべてのフライトのソートされたリストをアプリケーションに取り込む必要があります。私はこれを達成するための2つのオプションのうちのどれが最良のものか確信していません。 # Load the parquet file on_time_dataframe = sqlC

0熱

1答えて

Spark RDDの文字列置換

最初にコードに言及した問題点について説明します。 numPartitions = 2 rawData1 = sc.textFile('train_new.csv', numPartitions,use_unicode=False) rawData1.take(1) ['1,0,0,0,0,0,0,0,0,0,0,1,0,0,5,0,0,0,0,0,0,0,0,0,3,1,0,0,0,0

2熱

4答えて

PySparkパッケージのインポート

graphframesパッケージ（here）をダウンロードしてローカルディスクに保存しました。さて、私はそれを使用したいと思います。だから、私は次のコマンドを使用します。予想通り IPYTHON_OPTS="notebook --no-browser" pyspark --num-executors=4 --name gorelikboris_notebook_1 --py-files ~/tem

0熱

1答えて

スパークではどのようにロールマンを書いていますか？

私はSparkを使って新しいです。私は巨大なtimeseriesに対処しなければなりません。ベンチマークのために、私はロールメーンのいくつかの実装を比較する必要があります。 numpyの反復モードでは、実際に高速です（1,000,000ポイントで0.055970s、window = 3）。私は、ロール・マンの新しいcomer-in-pysparkバージョンを書いて、結果は恐ろしいものです（同じベク

0熱

1答えて

DSE 4.8 SparkクラスタでPythonジョブを実行する際のエラー。

DSEクラスタ4.8でSpark（pyspark）を実行すると奇妙な問題が発生しました。ジョブが実行されている何らかの理由で、私は以下のように数十のエラーが発生します。誰もこのエラーをどうにかする方法を知っていますか？私はdse spark-submitコマンドを使用しています。 ERROR 2016-04-04 12:49:21,305 org.apache.spark.scheduler.c

0熱

2答えて

スパーク：複数のデータフレームで同じOneHotEncoderを使用

私は同じ列の2つのDataFramesを持っています。をOne-Hot-Encodingを使ってベクトルに変換したいと思います。問題はです。例えば、トレーニングセットで3つの固有の値が発生する可能性がありますが、ではそれよりも小さいかもしれません。 Training Set: Test Set: +------------+ +------------+ | Type | | T

1熱

1答えて

Google BigQueryのデータをSparkに読み込む

Spark（Databricks）のデータをGoogle BigQueryに読み込みたいとします。 DatabricksはAmazon S3をサポートしていますが、Googleはサポートしていません。 Google BigQueryからSpark（データバインド）にデータを読み込む最良の方法は何ですか？ BigQuery connectorは私にこれを許可しますか？これはGoogle Cloudス

0熱

1答えて

同じrddの計算に依存してrddに要素を追加する

私はPython sparkに新しいので、この質問は初心者かもしれません。しかし、ここやGoogleで良い答えが見つからないので、とにかく質問します。私は自分のrddにいくつかの計算をすることによって自分のrddにいくつかの要素を追加したいと思います。私のrddは名前付きの行で、文字列を含んでいます。私は、ファイル内にタブで区切られた2つの数字を追加したいと思います。次に、この合計を行rddの最

-1熱

1答えて

pickle.PicklingError：mapPartitionsを使用してクロージャー（関数）にログインしているときに 'ロック'オブジェクトをpickleできません。

_log.info（e）のコメントを解除しても問題ありません。 _log.info（E）と酸洗エラーが発生します。 _log = logging.getLogger(__name__) def write_tsdb(partition): count = 0 failed_count = 0 for value in partition: try:

0熱

1答えて

PySparkのWindow関数のパーティションを設定するには？私はPySparkジョブを実行している、と私は、次のメッセージが出てい

： WARN org.apache.spark.sql.execution.Window: No Partition Defined for Window operation! Moving all data to a single partition, this can cause serious performance degradation. メッセージは何を示しんし、どのように私は、ウ