私は大量のxmlファイルをまとめて1つのファイルと多くのそのようなzipファイルにまとめました。私は前にMapreduceを使用して、カスタムinputformatとrecordreaderを使ってxmlを解析し、splittable = falseを設定し、zipとxmlファイルを読み込んでいました。Sparkで圧縮されたxmlファイルを読む
私はSparkを初めて使用しています。私がMRでやり遂げることができるように、スパークがzipファイルを分割して複数のzipを並行して処理するのを防ぐ方法を教えてもらえますか？
AFAIk！あなたの質問に対する答えは、@holdenによってhereに提供されています： ご覧ください。ありがとう:)
これは非常に便利ですが、答えはそのままです。質問を重複したものとしてマークし、リンク先を選択して閉じるか、他の回答にリンクすることもできます。また、リンク先の重要なビットを引用するために回答を編集することもできます。 –
あなたが共有したリンクを通過しました。私はちょうど1つの疑いがあります。どのように私は分割されずに単一のファイルを解析することができます。 MRのように、自分のカスタムinputformatクラスでsplitable = falseプロパティを使用しています。どのように私はスパークで同じことを達成することができます。 – Pooja3101
私は以下のように試みましたが、エラーが発生しました。=>新しいZipInputStream（content.open）} > >
あなたは例またはユースケースありがとう！私はあなたの質問を理解することができないので、 –
私はいくつかの大きなxmlを持っていて、それらは複数のzipに圧縮されています。私はちょうどブロックサイズに基づいて分割されずに私のzipとxmlを解析したい。 – Pooja3101