0
我々は、Spark放送変数を作成するには、以下のコードを使用することができます:スパーク2(java)でブロードキャスト変数を作成する方法は?スパーク1では
SparkConf conf = new SparkConf();
conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
JavaSparkContext sc = new JavaSparkContext("local", "JavaAPISuite", conf);
ArrayList<Strin'valuesg> sampleList = new ArrayList<String>();
sampleList.add("value");
final Broadcast<ArrayList<String> broadcastVar = sc.broadcast(sampleList);
はどのように我々は、以下に示すAPIを使用してスパーク2で同じことを行うことができますか?例えば
SparkSession sc = SparkSession.setappName("SparkApp").getorcreate();
sc.sparkcontext().broadcast(T value, scala.reflect.ClassTag<T> evidence$11)
https://spark.apache.org/docs/latest/rdd-programming- guide.html#broadcast-variables –
hi cricket_007 ...リンクにSpark 1タイプが表示されます... Spark2のSparkSessionではありません –
どういう意味ですか?ブロードキャストするにはSparkContextが必要です。 Sparkセッションからコンテキストを取得します –