シェルファイルの拡張子を修正して複製を取り除く方法

Question

imagenetファイル（hereは車の画像の例です）から提供されたURLからwgetコマンドを使用してたくさんのファイルをダウンロードしました。しかし、私は私のファイルをチェックすると、私は多くのファイルが見つかりました、間違った拡張子があります。たとえば、ファイルの中で、拡張子が.jpgのファイルは実際にはテキストファイルです。そして、--adjust-extensionは.htmlと.cssファイルでのみうまくいくかもしれないことに気付いています。

私の質問はそれらのファイルです：1.どのようにファイルの拡張子（.jpg、.txt、.png、.htmlなど）を回復することができますか？ 2.いくつかの画像が複数回ダウンロードされることがあります。重複を取り除くにはどうすればいいですか？

もしPythonで実行できるのであれば、それでも問題ありません。 ありがとうございます。

Answer 1

python-magic https://github.com/ahupp/python-magicやfilemagic https://pypi.python.org/pypi/filemagicのようなパッケージを使用して、コンテンツに基づいてファイルを識別する方法を提供できます。 Unix fileコマンドは--mime-typeフラグを指定してファイルタイプを検索することもできます。

重複については、これを行うには多くのユーティリティがありますが、Pythonでそれを行うには、このような何かを行くだろう：

import os, hashlib 

def remove_dupes(dir): 
    unique = set() 
    for filename in os.listdir(dir): 
     if os.path.isfile(filename): 
      filehash = hashlib.sha1(file(filename).read()).hexdigest() 
      if filehash not in unique: 
       unique.add(filehash) 
      else: 
       os.remove(filename) 

Answer 2

あなたはに基づいてファイルの種類を把握するためにfileプログラムを使用することができますファイル名の代わりにファイルの内容。ファイルには、BSDやOSXを含むLinuxやUNIXのすべてのバージョンが付属しています。 Windowsを使用している場合は、Cygwinに含まれていると思います。

フラグ-iでは、出力をMIMEタイプとして取得し、標準ライブラリのmimetypesモジュールを使用してmimetypeを適切なファイル拡張子にマップできます。これは多くのファイルタイプでうまく動作します。

このサンプルは、Linuxのpython 3で動作します。カレントディレクトリの各ファイルと、考えられるファイル拡張子のリストを出力します。

import os, mimetypes, subprocess 
for filename in os.listdir(): 
    mime = subprocess.check_output(['file', '-ib', filename]).decode().split(';')[0] 
    print(filename, mimetypes.guess_all_extensions(mime.strip()))