2017-06-05 7 views
2

私はSpark 1.6.1を使用します。フォーマットごとの書き込みまたは読み取りのオプションの参考資料はどこですか?

HiveContextとDataFrameWriterを使用してHDFSにORCファイルを書き込もうとしています。我々は

df.write().orc(<path>) 

を使用できますが、私たちは、むしろこれは、私たちは、このヘルパーライブラリを使用するアプリケーションに応じて、フォーマットやルートパスを変更する柔軟性を持っているということです

df.write().options(Map("format" -> "orc", "path" -> "/some_path") 

ような何かをするだろう。 DataFrameWriterに渡すことができるオプションの参照はどこで見つけることができますか?私は

https://spark.apache.org/docs/1.6.0/api/java/org/apache/spark/sql/DataFrameWriter.html#options(java.util.Map)

答えて

3

我々はDataFrameWriterに渡すことができるオプションへの参照を見つけることができ、ここでドキュメントには何も見つかりませんでしたか?

最も決定的と権威の答えはsourcesです:

あなたがドキュメントで見つけることがいくつかの説明が、単一のページはありません(それはおそらく最新滞在する情報源から自動生成することができます) 。

(あなたが正当に述べたように)オプションを使用すると、ユースケースごとに提供したいの柔軟性を持つことが目的でフォーマット実装から分離されていることであることの理由:

我々は柔軟性を持っているように、これは、このヘルパーライブラリを使用するアプリケーションに応じて、形式またはルートパスを変更します。


あなたの質問は、私が言ったHow to know the file formats supported by Databricks?に似ているようだ:

はどこで各ファイル形式でサポートされるオプションのリストを得ることができますか?オプションを定義する(スパークMLlibのように)従うこと APIが存在しないようことはできません

。すべてのフォーマットはこれを独自に行います...残念なことに、ドキュメントや(より権威のある)ソースコードを読むことが最善の方法です。

関連する問題