rdd

0熱

1答えて

文字列サンプラーを作成するには、rddの文字列を辞書として使用し、クラスRandomDataGeneratorをorg.apache.spark.mllib.randomパッケージから作成しています。 import org.apache.spark.mllib.random.RandomDataGenerator import org.apache.spark.rdd.RDD import s

0熱

1答えて

オプション[RDD]をRDDに変換する方法

私は以下のようにいくつかのキーを使って可変ハッシュマップにRDDを保存しています。 var datasets = new HashMap[String, RDD[T]]() val feedRdd: RDD[T] = ... datasets.put("someKey", feedRdd) 今私はハッシュマップから同じRDDを取得しようとしていますし、それがオプション[RDDを[T]] v

0熱

1答えて

save groupBy rdd結果をHDFSに戻す

私は、hdfsのカスタマイズされたthrift-compactベースのシリアライズフォーマットファイルを入力として持っています。 hadoopのFileInputFormatを拡張することで、ファイルをRDD構造体に素早くロードできます。いくつかのgroupBy変換を適用すると、出力RDDはJavaPairRDD<Long, Iterable<thriftGeneratedClass>>になりま

0熱

1答えて

長い文字列を持つ2つのRDDをマージすると、値の順番が混ざります。

私はPySparkを使用していますが、RDDに長い文字列が含まれていると、2つのRDDをマージするのがなぜ失敗するのか、特に、Iは、構造を有する2つのRDDS RDD1 =（[KEY1、[string11、string12]、[KEY2、[string21、string22]]、...）を有します RDD2 =（[キー1、[string13、string14、string15]]、[KEY2、

0熱

1答えて

Scalaのspark-shellを使って大きなRDDをローカルディスクに書き込む方法は？

Scalaのspark-shellを通して、elasticsearch-hadoop-5.5.0コネクタを使用してElasticsearchデータベースにアクセスできます。私は火花シェルで次のコマンドを渡すことによって、私のRDDを生成します。 val myRdd = sc.esRDD("myIndex/type", myESQuery) myRDDは15のパーティション間で210万件のレコ

0熱

1答えて

Python DictをPySparkのRDDまたはDFに変換する

私がPySparkコードに変換しようとしているPandasでプロトタイプしたコードがいくつかあります。これは、urlparse Pythonライブラリを使用して、Python辞書への汎用URIを解析し、そのキーを新しい列に変換し、それらの新しい列を元のデータに連結して戻します。以下に簡単な例を示します。実際のデータセットには38個の列があり、それらのすべてを保持することが大事です。このようなもの（

0熱

1答えて

マッピング中のRDDのタイムスタンプからの要求数を計算する

現在、1分あたりのリクエストで機械学習用のデータを豊かにしようとしています。データはKafkaのトピックに保存され、アプリケーションの開始時にトピックの内容全体が読み込まれて処理されるため、すべてのデータが同時に到着するので、自分の知る限りでスパークストリーミングのウィンドウ操作を使用することはできません。私のアプローチは、次のことを試してみた： val kMeansFeatureRdd = k

0熱

1答えて

データフレームで使用可能なファイルパスを読み込み、sparkを使用してこれらのファイルの内容を読み取る

次のようなデータフレームがあります。それはhdfsファイルパスを含んでいます。私は値を読んで、ファイルの内容を読みたいと思います。並列処理を活用したネストされたRDDなしでこれを解決する最善の方法は何ですか？私はAnkushの回答に基づいて2.1 +--------------------+ | value| +--------------------+ |hdfs://61.81.7

3熱

1答えて

（スパーク）2つの大きなrdd結合を両方とも最適化する方法はありますか？両方がメモリに対して大きすぎる（手段はブロードキャストを使用できません）？

タイトル。 2つの大きなrdd joinを両方とも最適化する方法はありますか？どちらもメモリには大きすぎますか？この場合、私は地図側の参加のために放送を使うことはできないと思います。私はこの2つのRDDに参加する必要があり、それらの両方がメモリに収まらないほど大きい場合： country_rdd: (id, country) income_rdd: (id, (income, month