pyspark

1熱

1答えて

が正常に<a href="https://cloud.google.com/dataproc/tutorials/jupyter-notebook" rel="nofollow">https://cloud.google.com/dataproc/tutorials/jupyter-notebook</a></p> <p>私の質問を使用して、私はpysparkでjupyter実行することができる午前ノートブック

をjupyter使用してpysparkすることです - 私は（火花CSVまたはgraphframesのような）pysparkするパッケージを追加して、それらを使用していた場合ノートブック、従うべきベストプラクティスは何ですか？ --packagesオプションを使って新しいpysparkジョブにパッケージを追加できますが、その新しいpysparkコンテキストをノートブックにどのように接続すればいいで

1熱

1答えて

ALS.trainImplicit（）のalphaパラメータを1より大きくすることはできますか？

http://spark.apache.org/docs/latest/mllib-collaborative-filtering.html#explicit-vs-implicit-feedbackでサンプルコードをテストしています。自分のデータをそのまま使用しています。 http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=478

0熱

2答えて

は私が整数に行を変更したいRDD</p> <pre><code>rdd=sc.parallelize([[True,False,False], [True,True,True], [False,False,True]]) </code></pre> <p>を持っRDD

にデータ型を変更します。私は、各行の三つの要素を持っていた場合、私は私に [[1, 0, 0], [1, 1, 1], [0, 0, 1]] を与える def asInt(x): return [int(x[0]), int(x[1]), int(x[2])] rdd=rdd.map(asInt) を使用することができますが、私は数百万行を持っているので、私は別のソリューシ

4熱

1答えて

spark reading python3 pickle in input

私のデータは、Python 3のピクルスファイルのセットとして利用できます。それらのほとんどはPandas DataFramesのシリアライズです。 Sparkの使用を開始したいのは、1台のコンピュータに搭載できるメモリとCPUが増えたからです。また、分散ストレージにはHDFSを使用します。初心者として、入力ファイルとしてピクルスファイルを使用する方法を説明した関連情報は見つかりませんでした。

0熱

1答えて

Spark Data FrameのGroupDataでstat関数クロス集計を実行する方法はありますか？

私は次のための解決策を見つけることを試みる：私はgroupBy(A)によってcratedされ、各グループごとにcrosstab(B and C)を実行するためにgroupBy(A)にし、より必要な3列A、BとDataFrame、C. を持っています grouped = df.groupby('A') for name, group in grouped: df_crossed = p

4熱

1答えて

Spark SQLはフィルタリングされた等結合に対して述語プッシュダウンを実行しますか？

私はここで A inner join B where A.group_id = B.group_id and pair_filter_udf(A[cols], B[cols]) 形式のgroup_id「フィルタ、等は、参加する」を実行するためにスパークSQL（1.6）を使用してに興味が粗いです：group_idの単一の値は、たとえば、1万件のレコードを関連付けることができAとBの両方で使用する

0熱

2答えて

spark：マップ内でルックアップを使用する

下記のように（スパークで）マップ内でルックアップを使用しようとしています（PySparkを使用）、エラーが発生します。これはスパークが許可していないものですか？ >>> rdd1 = sc.parallelize([(1,'a'),(2,'b'),(3,'c'),(4,'d')]).sortByKey() >>> rdd2 = sc.parallelize([2,4]) >>> rdd =

-2熱

1答えて

pysparkでwholeTextFilesを使用していますが、メモリ不足のエラーが発生します

私はいくつかのファイル（part-00000.gz、part-00001.gz、part-00002.gz、...）を持っています。タイムスタンプ情報が含まれているので、各パートのファイル名を使用する必要があります。私が知っているように、pysparkでは、wholeTextFilesだけが（filename、content）として入力を読み取ることができます。しかし、wholeTextFiles

3熱

1答えて

遅延実行型のSparkでの変換をどのように行うのですか？

私はいくつかのステップを実行しているいくつかのコードを持っています。プロセス全体にどれくらいの時間がかかります。しかし、個々の変換にどれくらいの時間がかかるかを計算したいと思っています。ステップの簡単な例を次に示します。 rdd1 = sc.textFile("my/filepath/*").map(lambda x: x.split(",")) rdd2 = sc.textFile("othe

2熱

1答えて

Apache Spark：Python関数が自動的にシリアライズ

私はApache sparkのドキュメントを調べていました。 Spark docs for pythonには、次の言葉： ...我々は...自動的にそれらが参照する変数と一緒に連載さである、スパークするをPython関数を渡すことができ、私は完全に何を理解していませんその意味は。それは何かRDDタイプをしなければならないのですか？スパークの意味ではどういう意味ですか？