2016-06-02 12 views
0

デベロッパーガイドを確認しましたが、答えが見つかりませんでした。これまでのところ、私はHDVからVoraにCSVファイルとORCファイルをロードできましたが、Hiveから読み込むことができましたか?HiveデータをVoraに読み込むことは可能ですか?

Hiveをソースとして指定していない場合、/ apps/hive/warehouse/tablename/00000_0(または部分的なファイル名)と同じ "paths"を使用しようとしました。しかし、Hiveテーブルが/ tablename /ディレクトリ内の複数のファイルで表現されている場合、それらを明示的に「パス」にリストする必要があります。これは理想的なオプションではありません。もっと良い方法はありますか?

更新:この問題の文脈では、Voraはデータの永続性を提供しませんが、私はHiveウェアハウスを永続性レイヤーとして使用したいと思います。これは最終的にはまだファイルですが、 SAPエコシステムでHadoopを使用すると、SAP Data Services with Hiveアダプタを利用して、外部からHadoopにファイルをロードし(必要に応じてHadoopからファイルにデータをダンプする)、そのデータをVoraで利用できるようにすることができます。

+0

SAP VoraはSparkの上に構築されているので、Sporaで実行できることはVoraで行うことができます。私が知る限り、Voraは物理的にどのデータも格納していませんが、メモリテーブルに作成します。したがって、データをHadoopに保存する場合は、Hiveテーブルに保存しておきますが、VadoをHadoopの抽出ツールとして使用する場合は、まったく別のものです。あなたは何を探していますか? – Jared

+0

@TheRandomSuit私は、VoraもSparkもデータの永続性を提供しないことを理解します。つまり、Hive倉庫をパーシスタンスレイヤーとして使用したいのです(最終的にはまだファイルですが、いくつかの追加の組織があります)。そうしたやり方で、私はSAP Data Services with Hiveアダプタを使用して、外部からHadoopにファイルをロードします(必要に応じてHadoopからファイルにデータをダンプします)。意味がありますか? – Roman

+0

ええ、それは理にかなっています。この追加の文脈で質問を更新する必要があります。 – Jared

答えて

1

HiveテーブルをVoraにロード/マイグレーションする自動方法はありません。 HDFSの(ハイブ編成された)ファイルに基づいてVoraテーブルを作成する方法があります。

pathsオプションでは、ワイルドカード*を使用して、HDFSの特定のディレクトリからすべてのファイルをロードできます。これはcsv、parquet、orcで動作します。例えば。 paths "/path_to_my_dir1/*,/path_to_my_dir2/*"

+0

は、hive.exec.stagingdirが誤って(デフォルトで)設定されていて、ステージングディレクトリがHiveのテーブルのディレクトリ内に正しく表示されているように見えます。そのため、Voraのワイルドカード処理が損なわれます – Roman

関連する問題