pyspark-sql

5熱

1答えて

私はこのスキーマとデータフレームxがあるとします。 DataFrame[a :double, b:double, c:double] は私が持っているしたいと思います：私は、データフレームを持って xSchema = StructType([ \ StructField("a", DoubleType(), True), \ StructField("b", DoubleT

1熱

1答えて

最後の点でスパークスタンドアロンアプリケーションがハングする

私はSparkを初めて使っていて、Pythonを使用してSQLを起動する簡単なスクリプトを書いています。私の問題は、実行の開始フェーズでは完全に正しかったが、徐々に減速し、最後のフェーズの最後にアプリケーション全体がハングするということです。 16/03/29 09:05:50 INFO TaskSetManager: Finished task 96.0 in stage 416.0 (TID

9熱

1答えて

pysparkデータフレームからJDBCを介して外部データベーステーブルに挿入する際の重複キー更新

私はPySparkを使用しています。私はSparkデータフレームを使用してデータをmysqlテーブルに挿入します。 url = "jdbc:mysql://hostname/myDB?user=xyz&password=pwd" df.write.jdbc(url=url, table="myTable", mode="append") Iは、その列の値および特定の数の和で（主キーではない）列の値

8熱

2答えて

どのように火花データフレームをキャッシュし、別のスクリプト

でそれを参照するようにすると、それがデータフレームをキャッシュしてから参照することは可能です（クエリ）には、次のように...私の目標は次のとおりです。？スクリプト1では、スクリプト2では DFデータフレーム（DF）実行スクリプト1とキャッシュを作成することは、標準的なスパークバイナリを使用しては不可能であるDF

5熱

2答えて

がどのように

This page IPythonノートブックにジャーdependenicesをロードするためにPyspark で.csvファイルを読み取るためのスパーク-CSVを試すために私を鼓舞して私はそのようなthisとしてポストのカップルがspark-csv を使用する方法を説明した。しかし私は起動時に.jarファイルまたはパッケージ拡張子を含めてipythonインスタンスを初期化することはできません。こ