MapReduceの1つのMapperで次の行を読む

私はテキスト入力ファイルを持っており、改行で区切られています。各マッパーでは、私のキー/値の次の行を読む必要があります。例えば、このデータに：MapReduceの1つのMapperで次の行を読む

L1 

L2

と次のマッパーで：事前に

L2 

L3

おかげ

L1 

L2 

L3

私はこのようなものが必要。

出典

2017-01-26 Masoud

HI、SOコードの書き込みサービスではありません - その最高あなたが行って、あなたが経験している特定の問題を書いたコードを投稿する場合 –

私はコードを要求しませんでした。より集中力のある質問を読むことが最善です。 – Masoud

どうすればいいですか質問ページへの質問方法をお読みください：http://stackoverflow.com/help/how-to-askあなたは実際にこれを行ったことを証明する必要があります。問題を考えずに。その礼儀正しい。 –

CustomInputFormatに加えて、あなたはMapのようなコレクションに行の前に保存し、アクセスすることができますが、それは、それぞれ次の呼び出し

例：

出典

2017-01-26 13:14:23

ファイルを読み込んで2行のレコードに分割するカスタムのInputFormatクラスを記述する必要があります。標準のTextFileInputはその時に1行を読み込み、結果のストリームをソーターに渡します。したがって、プロセスの最初の段階でファイルの順序が失われます。

Here isこの詳細については、こちらをご覧ください。

出典

2017-01-26 11:42:58 Vlad

あなたの助けを借りて、私はカスタムInputFormatクラスを作成し、この記事を見つけていただきありがとうございます：http://analyticspro.org/2012/08/01/wordcount-with-custom-record-reader-of-textinputformat/もう一つの問題があります。私がコードを使用しているとき、 "タイプRecordReader はNLinesRecordReaderのスーパークラスにはなれません;スーパークラスはクラスでなければなりません" – Masoud

MapReduceの1つのMapperで次の行を読む

答えて

関連する問題