Spark UIのジョブタブを理解しようとしています

Question

私はavroデータを読み込んで処理する必要があるsparkプログラムに取り組んでいます。私はsparkアプリケーションのためにジョブIDがどのように作成されるのかを理解しようとしています。私はavroデータを読み込むために以下のコード行を使用します。

sqlContext.read.format（「com.databricks.spark.avro」）。負荷（パス）私の知る限りは、ジョブIDがプログラムで発生したアクションに基づいて作成されます知っているよう

。私の仕事は30分ごとに実行される予定です。このアプリケーションのsparkヒストリサーバーを見ると、ロード操作のためにジョブIDが作成されているのがわかります。それはたまにしか起こらず、ログは大丈夫です。私はspark 1.6.1を使用しています

私はロード操作がアプリケーションで新しいジョブIDを作成するかどうか知りたいですか？

Answer 1

一般的に、Spark SQLでのデータ読み込み操作は、DataFrameReaderのスキーマを提供しない限り、怠惰ではありません。ソースの範囲に応じて、単純なメタデータアクセスからフルデータスキャンまでの影響は異なります。

この特定のケースでは、it is pretty much limited to file system scanおよびa single file accessはスキーマを読み込みます。