apache-spark-2.0

0熱

1答えて

createOrReplaceTempViewはpyspark2.0.0の空のデータフレームでは機能しません

pysparkデータフレーム（2.0.0）でsqlビューを定義し、 "テーブルまたはビューが見つかりません"のようなエラーを取得しようとしています。私がやっていること：1.空のデータフレームを作成する2.別の場所から一時データフレームにデータを読み込む3.一時データフレームをメインデータフレーム（空のデータフレーム）に追加する4.データフレームにSQLビューを定義する以前は空です）。 spark

0熱

1答えて

org.apache.spark.sql.cassandra.CassandraSQLContextをインポートできません

私のパスにspark-cassandra-connector_2.11-2.0.0-M3.jarがありますが、引き続きorg.apache.spark.sqlをインポートできません.cassandra.CassandraSQLContext。これは他のパッケージにありますか？すべてのドキュメントがこのパッケージを指しています（または非推奨）。ありがとうございました

0熱

1答えて

Googleのストアからs3にデータを移動するためのGoogle/awsサービスです

私のusecaseではすべてのGoogle関連アプリと広告データの生成がGoogleストアに保存されます。ただし、処理エンジンはAWSクラウドのSparkで動作します。このGSデータS3をどのように処理するのかをお手伝いください。はあなたの火花のクラスパスにGoogleストレージのlibを持っている場合は、あなたのEMRコードがちょうどGSを使用して、事前

0熱

1答えて

Apache SparkがJersey依存関係注入でうまく動作しない

com.github.sps.metrics.metrics-opentsdbライブラリを使用して、スパークジョブからOpenTSDBサーバーにメトリックを記録しようとしています。 EncodingFiltersを扱うジャージーコードで奇妙なNPEを取得するという問題が発生しています。私はEncodingFilter.classのコードを見て、私は失敗だ行が、このことがわかりました ERROR O

1熱

1答えて

ストラクチャードストリーミングジョブがすべてのワーカを使用していません

Apache Kafkaデータストリームをソースとして接続するSpark 2.0.2構造化ストリーミングジョブがあります。仕事はkafkaからのツイッターデータ（JSON）を取り込み、CoreNLPを使ってセンチメント、品詞タグなどのデータに注釈を付けます。これはローカル[*]マスターでうまくいきます。しかし、スタンドアローンのSparkクラスタをセットアップすると、データを処理する作業者は1人だ

1熱

1答えて

Spark Cassandra NoClassDefFoundError guava/cache/CacheLoader

Cassandraコア3.12、Spark-cassandra-java-2.11、Spark2.11では、Cassandra 2.2.8、Win7、JDK8、Spark2、、spark-network-common_2.11、Guava-16.0.jar、sacala2.11.jarなど基本的な例を実行しようとするとはコンパイルされますが、はコンパイルされますが、： SparkConf c

1熱

1答えて

CassandraのSpark2セッション、SQLクエリ

Spark-2.0では、Sparkセッションを作成する最適な方法は何ですか？ Spark-2.0とCassandraの両方でAPIが再加工されたため、本質的にSqlContext（およびCassandraSqlContext）も非推奨になっています。そこでSQLを実行するには、私はCassandraセッション(com.datastax.driver.core.Session) and use ex

1熱

1答えて

複数のファイルを別々の場所にロードしてpysparkデータフレームにロードする方法

これは、複数のファイルをpysparkデータフレーム（2.0.0）に一度に読み込む方法です。これらのファイルは、異なるディレクトリにあります。または、私はそれをこのように置くことができるかもしれません。私は、S3に保存されたファイルを日記番号（20161109）のパーティションに保存し、特定の日付（フォルダ内のすべてのファイルではない）のデータをロードします。 1つずつ読み込んでunionAllを

0熱

1答えて

カサンドラ選択クエリ複数のパラメータ

casssandra 2.28、java-connector3、sparks2.0を使用しています。複数の選択パラメータで簡単なクエリを作成しようとしていますが、構文を正しく取得できません。： - "EQ " が好きではないビルド声明をしようとしました javaFunc.cassandraTable("tests", "test").where("ID= ?", "1").and("Name=

2熱

1答えて

スパークユニットテスト

は私の全体build.sbtは次のとおりです。 name := """sparktest""" version := "1.0.0-SNAPSHOT" scalaVersion := "2.11.8" scalacOptions := Seq("-unchecked", "-deprecation", "-encoding", "utf8", "-Xexperimental")