apache-spark-1.6

1熱

1答えて

はRDD[Array[String]]です。私はそれを反復し、隣接する要素を比較したい。これを行うには、RDDからデータセットを作成する必要があります。 import org.apache.spark.sql.SQLContext val sqc = new SQLContext(sc) val lines = sqc.createDataset(data) そして、私は2つの次のエラー

0熱

1答えて

スパークスリフトサーバへのアクセス中にエラーが発生しました

スパークバージョン：1.6.3 私はプロキシとしてスパークスリフトサーバを使用しています。しかし、それは私が期待したほど長く動かない。高負荷になると常に停止します。これはアクセスするとエラーです。 Javaヒープスペースしかし、私は、私は増やす必要があるか、メモリを知らない：私はエラーがjava.lang.OutOfMemoryErrorをある参照 <html> <head> <

0熱

0答えて

大きなデータフレームでspark SQL操作を最適化する方法はありますか？

私は大きなハイブテーブルを持っています（約90億レコードとorcフォーマットの〜45GB）。私はテーブルのいくつかのプロファイリングを行うためにスパークSQLを使用しています。しかし、これに任意の操作を行うには時間がかかります。入力データフレーム自体の単なるカウントには、完了までに11分かかります。どのカラムでもmin、max、およびavgだけで1時間半以上かかります。限られたリソースクラスタ（

1熱

1答えて

convertファイルをspark 1.Xのcsvに変換

excelファイルをcsvに変換するツールはSpark 1.Xを使用していますか？ https://github.com/ZuInnoTe/hadoopoffice/wiki/Read-Excel-document-using-Spark-1.x Exception in thread "main" java.lang.NoClassDefFoundError: org/zuinnote/hado

0熱

1答えて

ブロードキャスト 'オブジェクトには属性' destroy 'はありませんか？

私のpyspark scirptコードで、私はBroadcast変数を宣言します。最後に、私はこの変数をDestoryは、このような Blockquote AttributeError: 'Broadcast' object has no attribute 'destroy' 私のコードを取得したい： br = sc.broadcast(my_value) rdd.map(__my_map_f

1熱

2答えて

spark-shell〜Sparkプロパティ（Spark 1.6）でHiveサポートを有効または無効にするにはどうすればよいですか？

spark 1.6で明示的にspark-shellを使ってHiveサポートを無効/有効にするための設定プロパティはありますか？私は、私が実際にハイブサポートを有効/無効にするために必要なことができますどのプロパティにわからない、 sqlContext.getAllConfs.foreach(println) 、とすべてのsqlContextの構成プロパティを取得しようとしましたが。またはこれを

0熱

1答えて

Spark - RDD [Vector]を可変列のDataFrameに変換する

RDD [Vector]からscala/spark 1.6のDataFrameへの変換を一般化する最適なソリューションは何ですか？入力はRDD [ベクトル]と異なります。 Vectorの列番号は、RDDごとに1〜nです。シェイプレスライブラリを使用しようとしましたが、宣言された列番号と型が必要です。 ES： val df = rddVector.map(_.toArray.toList)

0熱

1答えて

2つのデータフレームを結合するとCassandraSourceRelationはシリアライズできません

spark-cassandra-connector 1.6.2でデータフレームをセットアップしました。私はcassandraでいくつかの変換を実行しようとしています。 Datastaxエンタープライズバージョンは5.0.5です。 DataFrame df1 = sparkContext .read().format("org.apache.spark.sql.cassandra")

0熱

2答えて

スレッド「main」の例外java.lang.NoClassDefFoundError：org/apache/spark/internal/Logging

My Spark Consumerが "logging"エラーで失敗しています。私はエラーをブラウズしている間にjarの互換性がないことが分かった。私はSpark 1.6.3を使用していて、すべての依存関係はpomで使用されていますが、xmlは1.6.3です。それでも私は同じエラーが発生しています。以下は私のmavenの構造と実行中のエラー投げです。 Exception in thread "m