2
現在、私はSparkバージョン1.6.2をインストールしています。Apache Sparkのバージョンを1.6から2.0にアップグレード
Sparkのバージョンを最新の2.0.1にアップグレードしたいとします。既存の設定を失うことなくこれを行うにはどうすればよいですか？
ご協力いただければ幸いです。
A
答えて
0
mavenまたはsbtアプリケーションでは、単にsparkの依存バージョンを変更し、2.0に従ってコードを移行するだけで、構成を失うことはありません。 sparkバイナリの場合は、configフォルダのバックアップを取ることができます。
0
設定に関連する変更はほとんどありません。一部のメソッドシグネチャが変更されました。新しい機能とは別に、mapPartitionsメソッドのシグネチャとメトリック/リスナーapiの変更がありました。
関連する問題
- 1. spark 2.0へのアップグレード
- 2. Spark SQLパフォーマンス：バージョン1.6対バージョン1.5
- 3. Apache Spark 1.6を使用したセカンダリソート
- 4. Apache Spark 2.0 - date_add関数
- 5. Apache TomEEでJAX-RSを2.0にアップグレード
- 6. UCanAccessアップグレードApache Commons Langバージョン
- 7. java 1.6のアップグレード
- 8. アップグレード再生！バージョン2.0へのフレームワーク？
- 9. PHPをバージョン5.2から5.3にアップグレード
- 10. Elasticsearch - バージョン5.0からのアップグレード。 5.2へのアップグレード - aptのアップグレードによるバージョンのダウングレード
- 11. Spark 1.6からSpark 2.1へのマイグレーションfromLocalIteratorのスローエラー
- 12. ApacheをVFS 2.0にアップグレードする価値はありますか？
- 13. httpclientバージョンとApache Sparkの間の競合
- 14. Spark 2.0にアップグレードする際のKryo登録の問題
- 15. Apache spark 1.6でcommons-configuration2とcommons-beanutils-1.9を使用する
- 16. 既存のJavaプロジェクトをJava 1.6から1.8にアップグレード
- 17. Cassandra 1.2.9から2.0.xへのアップグレード
- 18. symfony 2.0から2.3へのアップグレード
- 19. EF Core 1.1から2.0へのアップグレード
- 20. Microsoft Enterprise Library 2.0から5.1へのアップグレード
- 21. AdWords APIをバージョンv201609からv201705にアップグレード
- 22. angular2を2.1.1からバージョン2.4.1にアップグレード
- 23. SVNサーバーを1.6から1.7にアップグレードする方法
- 24. MacBookでJREを1.6から1.8にアップグレードできません
- 25. Apache Spark 2.0：java.lang.UnsupportedOperationException：java.time.LocalDateのエンコーダが見つかりません
- 26. 1.6からNginx 1.11にアップグレードしますか？
- 27. create spark JAVAオブジェクトのデータセットfrom scala、spark 1.6
- 28. Spring.NET - 1.1からNHibernate 2.0へのアップグレード時のアップグレード？
- 29. Spark 1.6でのHDFSユニットテスト
- 30. apacheバージョンをアップグレードした後、古いapache solrインデックスデータを使用できますか？
ダウンロードしますか？ Sparkは実際にはサイトから抽出されたアーカイブから実行されるだけなので、実際には "インストールされていません"。警告：あなたのコードは、1.6.xを2.xにアップデートした後では動作しません。 –
あなたがスタンドアロンとしてsparkをインストールしたばかりの場合は、あなたのローカルに別のバージョンをインストールする必要があります。 – jtitusj