apache-spark

0熱

1答えて

にjava.io.IOException：番組「パイソン」を実行することはできません：CreateProcessをエラー= 2を、システムがファイルを見つけることができません

を指定された私は、私はSPARKとPythonの最新バージョンを使用していますpyspark で日食を構成しました。何かをコード化して実行しようとすると私はエラー以下になる。 java.io.IOException: Cannot run program "python": CreateProcess error=2, The system cannot find the file specif

0熱

1答えて

ClassCastExceptionがスパークテスト

を実行しているときにように私は、私たちのテスト環境に（Guiceの付き）mockitoを追加しました： class SparkModuleWithMocks extends AbstractModule with JsonFormats { override def configure(): Unit = { //bind(classOf[TrafficFilterRules]).to

0熱

1答えて

エラー：com.mongodb.MongoCursorNotFoundException：MongoDBからSparkへの読み込み中

私は234百万のレコードでSparkのMongoDBでコレクションを読み込もうとしています。私は唯一のフィールドが欲しい。 case class Linkedin_Profile(experience : Array[Experience]) case class Experience(company : String) val rdd = MongoSpark.load(sc, ReadC

0熱

2答えて

スパーク解析の前にFTPから大きなテキストファイルを読む

私はスタンドアロンモードでスパークを実行しています（私たちのシステムには今後配布される予定です）。まず、このファイルをFTPからローカルのe.g c:\spark\analysis\bigfile.txtにコピーする必要があります。そのファイルを解析用のスパークで読み込むことができます。私の質問は、どのようにメモリを使い果たすことなく効率的に大きなファイルをコピーできますか？スパークすることは

0熱

1答えて

spark 1.6ハイブコンテキストsetConf問題

ハイブコンテキストでパーティションテーブルにデータをロードするsqlを実行する際に問題が発生しましたが、私はdynamic partition = trueを設定しましたが、依然として問題が発生しています。 SQL： insert overwrite table target_table PARTITION (column1,column2) select * , deletion_flag ,'

0熱

1答えて

pysparkからRDD依存関係を取得する方法は？

PySparkからRDDの依存関係を取得するにはどうすればよいですか？私はPySpark RDD classで同等の方法を見ることができなかった public final scala.collection.Seq<Dependency<?>> dependencies() ： Scalaはdependencies()方法があります。 PySparkのRDD依存関係を取得できる他の方法はあります

0熱

1答えて

SparkのDataset.col（）とfunctions.col（）の違いは何ですか？ここ

は、いくつかの文です：COLは、未解決の列を返しながら、列を解決https://stackoverflow.com/a/45600938/4164722 Dataset.col戻ります。誰かが詳細を入力できますか？いつDataset.col()を使用し、functions.colを使用する必要がありますか？ありがとうございました。

1熱

1答えて

スパーク：（この形式yyyy-mm-ddの日付の文字列を含む）文字列partitionByと、スパーク構造ストリーム2.1を使用してカフカからストリーミング中寄木細工パーティション名の一意

を、私は1つ interval27e/_spark_metadata interval27e/interval_read_date=2010-10-27 08%3A02%3A48 interval27e/interval_read_date=2010-10-30 04%3A27%3A34 interval27e/interval_read_date=2010-11-03 02%3A22%3A

1熱

1答えて

ケースクラスを使用してDataFrameでのマッピングが「データセットに格納された型のエンコーダを見つけることができません」で失敗するのはなぜですか？

私はすでにspark.implicits._を輸入してきた。しかし、まだ私が手にエラー Error:(27, 33) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by imp