apache-spark

0熱

1答えて

rundateというパーティション化されたカラムを持つ外部テーブルがあります。私は、コードが正常に動作し、私はパーティションを見ることができます spark.sql("ALTER TABLE table ADD IF NOT EXISTS PARTITION(rundate = '2017-12-19')") を使用してパーティションを作成 DataFrame.write.mode(SaveM

0熱

1答えて

Sparking WaterのH20マシンのメリット利点機械学習ライブラリ

Sparkling WaterはSpark環境でH20が実行されるため、Spark Engine（およびすべてのSpark分散構造）を使用してコンピューティングを分散することができますが、 H2Oはすでに機械学習のための分散型でスケーラブルなライブラリなので、メリットとなるパフォーマンスは何ですか？さらに、H2Oのスタンドアロン版は実際にはコンピュータクラスタ上の分散処理を管理することができます

0熱

1答えて

Kafka gzipの圧縮メッセージをトピックからスパークストリーミングへ読む方法

Gzip圧縮を使用するにはプロデューサー側で変更する必要があることがわかりますが、メッセージを読む際に圧縮解除する方法がわかりません。しばらくお待ちください。圧縮されていないメッセージに対してMy End to End Streamingが動作します。ありがとうございます

2熱

1答えて

sparklyrは、単一の値で `sd`の欠損値をフィルタリングできません

sd()をスパークデータフレーム内の単一の値に（Rのスパークルパッケージを介して）適用すると、それに基づいてフィルタリングできない欠損値欠損値。誰かがこれを説明して良い解決策を提供できますか？以下の例。 library(sparklyr) library(dplyr) sc <- spark_connect(master = "local") #> * Using Spark: 2.1

0熱

1答えて

リストを使用せずにDataframeのisin（）を使用する方法はありますか？

リストを使用せずにDataframeのisin（）を使用する方法はありますか？私はpyspark docsを見ていて、文字列かリストのいずれかのように見えます。文字列やリストが絶対に大量の場合はどうなりますか？代わりがありますか？

1熱

1答えて

Google Dataprocクラスタ内暗号化

GoogleはGDPRに準拠するよう取り組んでいます。コアとなるのは、データの暗号化です。 Google Cloud Platformのノード間でデータを移動すると、データの暗号化が解除されていることがわかります。クラスタ内のデータ暗号化についてはどうでしょうか？シャッフル中にGoogle Dataprocを使用しているときまた、tmp dirがSparkによって内部的に使用されているときにデータ

1熱

1答えて

ラムダ内の正規表現を持つpyspark分割文字列

ラムダ関数内の正規表現に基づいて文字列を分割しようとしていますが、文字列は分割されません。私は正規表現がうまく動作していると確信しています。正規表現のテストリンク https://regex101.com/r/ryRio6/1 from pyspark.sql.functions import col,split import re r = re.compile(r"(?=\s\w+=)")

0熱

1答えて

scala.collection.immutableのspark mlのクラスキャスト例外を取得しました。scala.collection.Seqへのリスト

私は線形回帰モデルを訓練しようとしているときに以下の例外が発生しています。別のJVMを使用して）モデルを訓練するために：私は訓練のためのデータセットを作成するためのコードの下に使用しています org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 13.0 failed 4 times,

0熱

1答えて

MongoDBからSparkを読み込み、objectIdインデックスフィールドでフィルタリングします

mongo-spark-connector 2.2.0を使用して_idフィールドのフィルタを使用してMongoDBからデータセットを読み込もうとしています。例えば： MongoSpark.loadAndInferSchema(session,ReadConfig.create(session)).filter(col("_id").getItem("oid").equalTo("590755cd

0熱

1答えて

Spark sqlのバイナリタイプによるフィルタリング

私のスキーマのIPアドレスを表すフィールドがあります。私はBinary Typeを使ってデータを保存したいと思います。私のIPアドレスが50.100.150.200の場合は、[50,100,150,200]として保存します（シーケンスは重要ですが、この質問の議論から除外することができます）。私の質問は、この列でフィルタリングする方法ですか？私は次のクエリを実行したい例えばを（文字列は、実際の