隠しチェックサムファイルを作成しないようにhadoopクライアントを制限します。

CopyToLocalコマンドは、隠しチェックサムファイルを作成しています。これを避ける方法はありますか？隠しチェックサムファイルを作成しないようにhadoopクライアントを制限します。

2017-01-26 Nick

非常に古いバージョンを実行している場合を除き、copyToLocalコマンドのApache Hadoopドキュメントに表示されているように、-crcオプションを渡して作成することを選択すると、Apache Hadoopはローカルチェックサムファイルを作成します。

> hdfs dfs -copyToLocal /LICENSE.txt 

> ls -lrta 
drwxr-xr-x+ 131 naurc001 SWNA\Domain Users 4.3K Jan 27 09:18 ../ 
-rw-r--r-- 1 naurc001 SWNA\Domain Users 140K Jan 27 10:11 LICENSE.txt 
drwxr-xr-x 7 naurc001 SWNA\Domain Users 238B Jan 27 10:11 ./ 

> hdfs dfs -copyToLocal -crc /LICENSE.txt 

> ls -lrta 
drwxr-xr-x+ 131 naurc001 SWNA\Domain Users 4.3K Jan 27 09:18 ../ 
-rw-r--r-- 1 naurc001 SWNA\Domain Users 140K Jan 27 10:07 LICENSE.txt 
-rw-r--r-- 1 naurc001 SWNA\Domain Users 1.1K Jan 27 10:07 .LICENSE.txt.crc 
drwxr-xr-x 8 naurc001 SWNA\Domain Users 272B Jan 27 10:07 ./

オプションを持っている場合は、私は、現在のバージョンを実行して-crcオプションはどこにも渡されていないことを確認するテストをお勧めします。

出典

2017-01-27 18:12:34

はい私はCopyToLocalのオプションがあることに同意します。このようなgetmergeコマンドのオプションはなく、デフォルトではcrcファイルが作成されます。とにかくこの場合は避けるべきですか？ – Nick

@Nick、それは素晴らしい発見です！ '-getmerge'にそのようなオプションがないということは間違いありません。この機能をリクエストするためにApache JIRAの問題を提出することをお勧めします。気に入っている場合は、パッチの提供を検討してください。ありがとうございました！ –

隠しチェックサムファイルを作成しないようにhadoopクライアントを制限します。

答えて

関連する問題