apache-spark-1.5

0熱

2答えて

スパークSQL 1.5.2：参加除く左としてどのように私は同じ結果を得ることができ、

考えるデータフレームdf_aとdf_bに参加除く左： SELECT df_a.* FROM df_a LEFT JOIN df_b ON df_a.id = df_b.id WHERE df_b.id is NULL 私が試した： df_a.join(df_b, df_a("id")===df_b("id"), "left") .select($"df_a.*

3熱

2答えて

agg関数を適用する前に10進値を2桁に制限する方法はありますか？

私はのスタックオーバーフローポストの1つの解決策に従っています。私の唯一の必要条件は、df.agg(sum())関数を適用する前に小数点以下2桁に合計したい値を制限する方法です。例については：私は値を合計する前に 2.35 1.55 のような小数点以下2桁に丸められたことにしたいが、私は以下のような値を持っており、sum関数は、それを合計し、 2.346 1.549 それ。どうしたら

5熱

2答えて

SparkR 1.5のRStudioのhdfsから大きなファイル（純粋なテキスト、xml、json、csv）を読み込むオプション

私はSparkを初めて使用しています。以下のオプション以外にも、 RStudioからhdfsをSparkRを使用して、または私が正しく使用するかどうかデータは、任意の種類（純粋なテキスト、CSV、json、xml、またはリレーショナル表を含むデータベース）および任意のサイズ（1kb〜数gb）のいずれでもかまいません。私は、textFile（sc、path）はこれ以上使用すべきではないことを知って

6熱

1答えて

変換されたDataFrameをJDBC/MySQLに保存/エクスポートする

新しいDataFrameWriterを使用してJDBCデータベースにデータを書き戻す方法を理解しようとしています。ソースコードを見ると可能であるように思えますが、私はこれについてのドキュメントを見つけることはできません。私はこのようなルックスをしようとしているかの簡単な例： sqlContext.read.format("jdbc").options(Map( "url" -> "jdb

1熱

2答えて

Python Spark Dataframes：別の列の条件に基づいて列を更新する方法

私は非常に簡単なことをしたいと思いますが、Python/Spark（1.5）/ Dataframe（それはすべて私にとって新しいものです）。元のデータセット： code| ISO | country 1 | AFG | Afghanistan state 2 | BOL | Bolivia Plurinational State 新しいデータセット：（？擬似Pythonで） code|

6熱

1答えて

Spark DataFrameでnull値を空の配列に変換します

私は1つの列が整数の配列であるSparkデータフレームを持っています。列は、左外部結合から来ているため、NULL可能です。すべてのnull値を空の配列に変換したいので、後でnullを処理する必要はありません。が、私はそうのようにそれを行うことができると思った： val myCol = df("myCol") df.withColumn("myCol", when(myCol.isNull, A

1熱

1答えて

ドットで列の名前を変更するにはどうすればよいですか？

私はスパーク1.5を使用します。名前にドットが含まれている列（例：param.x.y）に苦労しています。私は最初にそれらを選択する問題を抱えていましたが、私は `character（` param.x.y`）を使う必要があることを読みました。現在、列の名前を変更しようとすると問題が発生します。私は、同様のアプローチを使用していますが、それはそれは動作しないようです： df.withColumn