最近、Google Cloud Dataprocで「プレビュー」画像を使用してSparkクラスタを開始しました。ドキュメントによると、プレビューイメージのSparkバージョンは '2.1.0'ですが、spark-shell --versionを実行すると、実際にはクラスタがSpark 2.2.0を実行していることがわかります。 spark-avroのバージョンはSpark 2.2.0と互換性がないため、これは問題です。他の誰かがこの問題を経験していますか？バージョンバンプに関するGoogleの公式発表の痕跡が見つかりませんでした。Google Cloud Dataprocプレビュー画像のSparkバージョンが変更されていますか？
申し訳ありませんが、最近のpreview画像アップデートのマイナーリリースノートがetherで失われてしまったようです。ドキュメントは明日までに更新されるはずです。実際にDataproc previewのバージョンがSpark 2.2.0になったのは間違いありません。
gcloud dataproc clusters create --image https://www.googleapis.com/compute/v1/projects/cloud-dataproc/global/images/dataproc-1-2-20170227-145329
Spark 2.1.0が含まれている必要があります。つまり、一般に、新しいプレビュー画像では互換性のない変更が行われる可能性があり、古いプレビュー画像への固定は長期間の作業を継続することが保証されていない可能性があります。
この場合、issue filed on spark-avroに当てはまっているのか、ご使用のバージョンに固有のものなのかを知っていますか？理想的には、正式な（プレビューではない）イメージバージョンがSpark 2.2で差し迫っているので、Spark 2.2にアップデートするのが理想的です。
応答のために多くの感謝、デニス。私たちはspark-avroに関するリンクされた問題にぶつかっています。私の意図は、問題が修正されるとすぐに2.2.0にアップグレードすることです。その間に提案した回避策を使用します。本当に正式なイメージのリリースを楽しみにしています！ – mjaz
問題を確認していただきありがとうございます。私たちはspark-avroの修正について注意深く見守っています。これはすでに進んでいるようです：https://github.com/databricks/spark-avro/pull/242 –