Apache sparkをクエリエンジンとして使用するには？

Question

私はApache Spark For Bigデータ処理を使用しています。データは、フラットファイルソースまたはJDBCソースからデータフレームにロードされます。ジョブは、spark sqlを使用してデータフレームから特定のレコードを検索します。

だから、私は新しい検索条件のために何度も何度もジョブを実行しなければなりません。私は結果を得るために、spark submitを使ってJarファイルを提出しなければならないたびに。 データのサイズが40.5 GBであるため、毎回同じデータをデータフレームにリロードして、異なるクエリの結果を取得するのが面倒になります。

はので、私は必要なものは、ある

• 私は複数回のjarを提出アウトで複数の時間を一回のデータフレーム内のデータをロードし、それを照会することができれば方法は？
• 検索エンジン/クエリエンジンとしてsparkを使用できるのであれば？
• 我々は、一度データフレームにデータをロードし、遠隔RestAP

を使用してデータ・フレームを照会することができる場合>マイスパーク展開の現在の構成は

• 5ノードクラスタです。
• 糸rm上で実行される。

私はspark-jobサーバーを使用しようとしましたが、毎回ジョブも実行します。

Answer 1

HiveThriftServerとSparkの統合に興味があるかもしれません。

基本的には、ハイブスリフトServerを起動し、あなたのHiveContextはSparkContextからビルド注入：

... 
val sql = new HiveContext(sc) 
sql.setConf("hive.server2.thrift.port", "10001") 
... 
dataFrame.registerTempTable("myTable") 
HiveThriftServer2.startWithContext(sql) 
... 

いくつかのクライアントライブラリやツールがサーバーを照会するためにあります：CLIツールなど https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients

- ビーライン

参考： https://medium.com/@anicolaspp/apache-spark-as-a-distributed-sql-engine-4373e254e0f9#.3ntbhdxvr

Answer 2

また、spark + kafkaストリーミング統合を使用することもできます。ちょうどあなたはストリーミングAPIが拾うためにあなたの質問をkafkaに送る必要があります。そのシンプルさがあれば、市場ですぐにピックアップするデザインパターンがあります。

1. ルックアップデータでデータセットを作成します。

2. Kafkaでスパークストリーミングクエリを開始します。

3. これはあなたのユースケースの世話をする必要があり、既に作成されたデータセット

上でクエリを実行し、あなたのカフカのトピックから

をSQLを取得します。

希望すると便利です。