hadoopで特定のファイルを見つける方法はありますか?hadoopファイルシステムでファイルを見つける
は、私がこれを使用できることを、知っている: hadoop fs -find /some_directory
をしかし、このようなコマンドがあります:hadoop locate some_file_name
は?
hadoopで特定のファイルを見つける方法はありますか?hadoopファイルシステムでファイルを見つける
は、私がこれを使用できることを、知っている: hadoop fs -find /some_directory
をしかし、このようなコマンドがあります:hadoop locate some_file_name
は?
を探している場合は、を探してください。このようなオプションよりもLinuxコマンドは、Hadoopには存在しません。あなたはHDFSファイルの実際の場所で探している場合
hadoop fs -find /some_directory -name some_file_name
:あなたが特定のファイルを検索する方法の方法を探しているなら、あなたが名前を使用することができますFSのパラメータは、このためコマンドを-findあなたはこのためににfsckコマンドを使用することができますローカルファイルシステム:
hdfs fsck /some_directory/some_file_name -files -blocks -locations
ありがとうございます。最初の変種はまさに私が探していたものです – Headmaster
私はインデックスにSchemaindexという名前のHDFS内のすべてのファイル名をソフトウエアを提案する別のポストに答えました。このソフトウェアはpythonとadminlte(js)で構築されています。このインデックスソフトウェアは、HDFSのイントリファイア機能を活用してリアルタイムでhdfsを監視します。このプロジェクトはgithub上にあります:schemaindex(https://github.com/qiyangduan/schemaindex)それを試したい人は、 $ pip install schemaindex $ schemaindex runserver 次のようにしてインストールすることができます。データソースを「反映」します。免責事項:私は教師であり、誰かが試してみたいと熱望しています。あなたはそれを試して、私にバグを知らせることができます。 –