Eclipse IDEでSparkでハイブを実行できますか？

Question

私はApache Spark Frameworkを使ってSparkプログラムを開発しようとしています。
クラスタなしでHiveContextをインスタンス化したいと思います。
HiveContextを使用して、クラスタを使用せずにEclipse Scala IDEでローカルに実行できますか？

Answer 1

簡単に可能ですか？確かに...（強調追加）

HiveContextを使用するには、既存のハイブのセットアップを持っている必要はありません、とSQLContextに使用可能なデータソースのすべてが、まだ使用可能です。

ただし、追加のコードをコンパイルする必要があります。

HiveContextは、Hiveのすべての依存関係をデフォルトのSparkビルドに含めることを避けるため、別途パッケージ化されています。これらの依存関係は、アプリケーションにとって問題ていない場合は、HiveContextを使用すると、

をお勧めします。しかし、あなただけの任意のクラスタずにスパークを書いている場合は、そこに1.1をスパークするためにあなたを保持しているものではなく、あなたの代わりにすべきSQL関連のエントリポイントとしてSparkSessionを持つSpark 2.xを使用してください。

---

Eclipse IDEは重要ではありません。 IntelliJ ...またはIDEを使用せず、​​いくつかのSparkコードを含む任意のJARファイル...