この大きなサイズのhadoopファイルを読み込む方法は？

Question

この大きなサイズを読み込むにはhadoopファイルをロードしますか？

hadoopからローカルUSBにファイルを読み込む必要があります。

ディレクトリ内の1つのファイルが奇妙で、名前が " - "で、サイズが45Gを超えています。最初にhadoop fs -getを使用してローカルのLinux VMにデータを取得し、次にWinSCPを使用してデータをローカルUSBにロードします。しかし私のローカルLinux VMの容量はわずか19Gです。これを行う方法？

hadoopコマンドを使用して、45Gファイルを小さいファイルに分割することを検討しています。しかし、私はそのようなコマンドを発見していない。

Answer 1

次の操作を試みることができる：

1. hadoop fs -getコマンドを使用して、VMのディスクにすべてのデータを保存します。
2. split -b 10240K hadoopfile splitflieを使用します。このファイルは10GBごとに分割されます。
3. 各パーツファイルをUSBに移動します。
4. 宛先にはcat splitfile* > hadoopfileを使用して、1つのファイルを結合します。