val ds: Dataset[Double]
(Spark 2.0.0)がありますが、apply
またはcol
に渡してこの1列のDataset
からColumn
に変換できる二重列の名前は何ですか。Spark Datasetの列名をクエリする方法は?
2
A
答えて
5
列名はds.col("value")
のように "value"です。 Dataset.schema
は、この情報が含まれています:ds.schema.fields.foreach(x => println(x))
6
ます。また、文字列の配列としてすべての列を返すDataFrame
の方法columns
を、使用することができます。
case class Person(age: Int, height: Int, weight: Int){
def sum = age + height + weight
}
val df = sc.parallelize(List(Person(1,2,3), Person(4,5,6))).toDF("age", "height", "weight")
df.columns
//res0: Array[String] = Array(age, height, weight)
関連する問題
- 1. Spark Datasetで列を丸める方法はありますか?
- 2. Spark Dataset:フラットマップの後に列のエイリアスを変更する方法は?
- 3. SparkのJavaPairInputDStreamをDataSet/DataFrameに変換する方法
- 4. Spark SQL - generic Dataset reader
- 5. Spark SQLで非ASCII列名を処理する方法は?
- 6. Spark DataSetとRDDの違い
- 7. Enumを含むケースクラスからSpark DatasetまたはDataframeを作成する方法
- 8. Sparkでscalaを使用してDataSetを操作する方法は?
- 9. Spark 2.0 - DataFrameをDataSetに変換する
- 10. Spark Dataframe/Datasetでの厳密なデータ型チェックの適用方法?
- 11. Spark 2.0.0:DataSetをカスタムエンコードされた型に集約する方法は?
- 12. Spark Datasetを使用してPostgreSQL hstoreに書き込む方法
- 13. Scala 2.0のネストされたフィールドの名前を変更するSpark 2.0 Dataset
- 14. クエリ文字列キーの名前を変更する方法は?
- 15. レコードを反復する間にSpark Datasetに複数の列を追加する
- 16. Spark Datasetで独自のreduceByKeyをローリング
- 17. spark dataset:列から一意の値の出現回数を取得する方法
- 18. java apiを使用してApache Spark Datasetでのdescによる注文方法
- 19. Spark Datasetをあるタイプから別のタイプにマッピングするときにエンコーダを指定する方法は?
- 20. Spark SQL - 2つのテーブルを結合する:列名を参照する方法?
- 21. CSVファイルからSpark Datasetを作成
- 22. Spark Datasetの選択的な再計算
- 23. csvを直接Spark Datasetにロードするには?
- 24. Java ArrayListをApache Spark Datasetに変換するには?
- 25. Sparkのマップ関数でカラム名を取得する方法は?
- 26. クエリMYSQLのid列の名前を変更する方法
- 27. クエリの列名を一覧表示する方法
- 28. データセット内の列の名前を効率的に変更する方法(Spark 2.0)
- 29. Spark Datasetで変数の順序を保持する方法はありますか?
- 30. Apache Spark DataSet API:head(n:Int)vs take(n:Int)