変換後に見えない文字を取り除く方法

Question

特殊なアポストロフィを含むウィンドウUTF8ファイルをunix ISO-8859-1ファイルに変換したいと思います。これは私がそれをやっているところです：

# -- unix file 
tr -d '\015' <my_utf8_file.xml> t_my_utf8_file.xml 

# -- get rid of special apostrophe 
sed "s/’/'/g" t_my_utf8_file.xml > temp_my_utf8_file.xml 

# -- change the xml header 
sed "s/UTF-8/ISO-8859-1/g" temp_my_utf8_file.xml > my_utf8_file_temp.xml 

# -- the actual charecter set conversion 
iconv -c -f UTF-8 -t ISO8859-1 my_utf8_file_temp.xml > my_file.xml 

私のファイルのすべてには問題ありません。もともとファイルの最初には見えない文字があるようです。 Notepadd ++でmy_file.xmlを開くと、ファイルの先頭にSUBが表示されます。 Unix VIでは^ Zを参照してください。

これらの種類の文字を削除するには、どこにどこのUnixスクリプトを追加する必要がありますか？

あなたは

Answer 1

、あなたが扱っている正確に何文字（複数可）を把握使用して（とパイプodに結果（この場合のようhead -1 <file>は十分なはずな単純なもので）問題の行を単離するためにありがとうございました目的の形式で文字を表示するための適切なフラグ）：

head -1 <file> | od -c # view as character 
head -1 <file> | od -d # view as decimal 
head -1 <file> | od -o # view as octal 
head -1 <file> | od -x # view as hex 

あなたが削除するには、お気に入りのコマンド（例えば、tr、sed）を使用することができますし、あなたが扱っている文字を知っていたら、キャラクターは言った。