orc

0熱

1答えて

VoraのORCリーダーがchar（）型をサポートしていない理由はありますか？ここでは、char（n）のフィールドを含むハイブORCベースのテーブルのファイルを読み込もうとしたとき、私が得たものです： com.sap.spark.vora.client.VoraClientException: Could not load table FLIGHTS_2006_ORC: [Vora[eba165.

1熱

2答えて

スパークデータフレームsaveAsTableとsave

spark 1.6.1を使用していますが、データフレームをorc形式で保存しようとしています。私が直面している問題は、保存方法が非常に遅く、各エグゼキュータの50M orcファイルで約6分かかります。これは私がデータフレーム dt.write.format("orc").mode("append").partitionBy("dt").save(path) 私もオークのフォーマットを使用し

1熱

1答えて

外部で作成されたORCファイルをORCとして保存されたHIVEテーブルにロードする方法は？

私はORCとして格納されている管理されたハイブテーブルを作成しましたが、.txtファイルをロードすると正常に動作しますが、ORCファイルをそのテーブルにロードできません。区切り文字とは何か関係はありますか？または私は何かが不足していますか？

3熱

1答えて

私は次のことを実行するとHiveContextがOrcfile

のスキーマを読んでいません。 val df1 = sqlContext.read.format("orc").load(myPath) df1.columns.map(m => println(m)) などの実名とは対照的に、列が「_col0」、「_col1」、「_col2」などと印刷されています'empno'、 'name'、 'deptno'。ハイブで「mytableを記述しているとき

2熱

1答えて

Sparkデータフレームをスニッピー圧縮でORCフォーマットで書く

S3に格納されたテキストファイルを読み込み、Sparkデータフレームを使用してORCフォーマットでS3に書き戻すことに成功しました。 - inputDf.write().orc(outputPath); 私ができないのは、スナップ圧縮でORC形式に変換することです。私はすでにコーデックの設定を書いている間にオプションを与えようとしましたが、Sparkはまだ普通のORCとして書いています。 Spar

0熱

1答えて

マップを使用してテキストファイルをorc形式に変換する

テキストファイルをORC形式に変換するマップリダクションコードを作成しています.hive-exec-0.13.0 jarに存在するORCNewOutputFormatが使用されています。 15ノードクラスタ（hdp 2.3）。問題は私のマップリダクションコードでアクセスする外部jar（hive-exec-0.13.0.jar）をロードできないことです。私はlibjarsや分散キャッシュのような他の

1熱

1答えて

パーティションとバケットのORCテーブル

ORCテーブルを作成すると、スピードが飛躍的に向上することがわかります。ただし、ORCテーブルを分割してバケット化することで、さらに改善することはできますか？もしそうなら、既存のORCテーブルでパーティショニングとバケット処理を行う方法は？

0熱

1答えて

パフォーマンスの向上Spark ORC

私はSpark 1.6.1を使用していますが、Sparkの世界ではまだまだ新しいです。ファイルをORC形式に保存して再生しています。比較的大きなテキストファイル（8 GB）をORCに解析しようとしています。通常、ファイルはかなり広く、つまり200+の列です。列の型は、Int、String、Dateの基本型です。すべての行を解析し、次にpersist（）を実行してファイルに保存します。ここで

0熱

3答えて

ORCファイルフォーマットとImpala

ORCファイルフォーマットをImpalaで使用できますか？また、Impalaのハイブストアに格納されているORCテーブルにアクセスする方法もあります。は、ドキュメントのリンクの下に見つかり、それがインパラをサポートしていませんORCのいずれかの制限fileformatsリストまたは言及が含まれていません： http://www.cloudera.com/documentation/enterpr

1熱

1答えて

フィールドデリミタ付きハイブORCまたはAVROフォーマット

ORCまたはAvroフォーマットのハイブテーブルでフィールド区切り文字を指定するのはどういう意味ですか？ハイブは指定されていても無視されますか？例えば、 CREATE TABLE if not exists T ( C1 STRING , C2 STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' STORED AS ORC t