2017-08-10 16 views
-1

私はpythonとpysparkの新機能です。私はパンダを使って転置操作を行っていますdf.T。 Iはpysparkのデータフレームには直接操作(pysparkバージョン= 2.2.0とPythonバージョン= 3.6.2)Pythonを使ったpysparkデータフレームの転置操作

Iは、次のコード

を使用して上記の操作のためのCSVファイルをロードしていますが存在しないことを見出しましたfrom pyspark.sql import SQLContext sql = SQLContext(spark_context) path = 'sample.csv' df = (sql.read.format("com.databricks.spark.csv").option("header","true").option("inferSchema", "true").load(path))

+0

あなたの質問がありますか? –

+0

pysaprkデータフレームで転置操作を実行したい –

+0

[Sparkを使用して列を行に転置](https://stackoverflow.com/questions/37864222/transpose-column-to-row-with-spark)の可能な複製 – Abdou

答えて

0

データスキーマについて教えてください。

スパース行列のようなものなら、通常のRDDでロードして、あなたの座標をマップ+スワップすることができます。

関連する問題