ScalaのApache Sparkを使用したS3の寄木細工ファイルの作成エラー。

私はスパーククラスタ（オンデマンド/スパーク1.6.0（Hadoop 1））を実行するためにdatabricksを使用しています。ScalaのApache Sparkを使用したS3の寄木細工ファイルの作成エラー。

私はスカラ座での私のS3バケットで寄木細工のファイルを作成しようと拳の時間が私にこのエラーをスロー：

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

しかし、私は私のバケットをチェックしたときに、私は再び実行した場合、ファイルが存在し、同じコードを持つセルは正常に動作し、最初の実行は常に失敗するようです。

これは私のコードです：

コメントで解決

data_frame.write.mode("append").partitionBy("date").parquet("s3n://...")

出典

2016-05-24 Erick Díaz

これは例外ではなく、log4jの設定に関連しています。これは問題ではありません。 –

[this]（https://issues.apache.org/jira/plugins/servlet/mobile#issue/SPARK-9896）と[this]（http://stackoverflow.com/questions/32174674/spark）を読んだことがありますか？ -no-schema-defined-and-no-parquet-data-file-or-summary-file-found-under）？ –

@YuvalItzchakovあなたが正しいことは例外ではありません、ありがとう –

：

これは例外ではありません、それはlog4jのの設定に関連します。これは問題ではありません。 - Yuval Itzchakov

出典

2016-08-23 22:30:53

ScalaのApache Sparkを使用したS3の寄木細工ファイルの作成エラー。

答えて

関連する問題