eventhubからアプリケーション受信メッセージを受信するspark-streamingによって生成された進行ディレクトリを削除する方法

Question

Eventhubutilsライブラリによって生成されたプロセスディレクトリは、hdfsに多数の小さなファイルを作成しています。 https://github.com/Azure/spark-eventhubs/blob/master/docs/direct_stream.md。これらの小さなファイルのために、namenodeに多くの負荷があります。スパークアプリケーションを妨害せずに進行ディレクトリを削除する方法はありますか？私の経験パー

enter image description here

Answer 1

あなたの現在のタスクが実行されている場合、結果のファイルを削除することはできません。

ここでは、参考のためにコードなしでファイルを削除する2つの方法を提供します。

最初の方法：

HDFS上のファイルがazure blob storage containerで見つけることができるので、あなたは、Azureのポータル上で直接それらを削除することができます。 1つずつファイルを削除したくない場合は、Azure Storage Explorerツールを使用して、削除するすべてのファイルを選択することができます。

第二の方法：

クラスタ・マシンにログオンし、あなたがconfiguration fileに対応するazure blob storage containerパスを見つけることができますrm command line:

hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...] 

を使用することができます。

wasbs://yourcontainer@youraccount.blob.core.windows.net/testDir/testFile. 

希望します。