Hadoopでテキストをマップキーとして追加する

Question

ファイルのテキスト全体をマップにロードする方法を探しています。 TextInputFormatのように一度に1行ではありません。だから私は私の地図でvalue.toStringを行うと、それは私に仕事全体の入力を与える。 ありがとう

Answer 1

ファイルの末尾に達するまで、すべての行をStringBuilderに入れる必要があります。または、この機能を提供する独自のRecordReaderをオーバーライドします。しかし、私はこれをお勧めしません。

Answer 2

ファイルの名前をマッパーに渡して、読み込みが自由で、完全にストリーミング処理をします。