Bash：ファイルからUrlを解析して処理し、ファイルから削除します。

Question

システムがファイルの内容を取得する手順を自動化しようとしています（1行に1Url）。wgetを使用してファイルを取得しますサイト（httpsフォルダ）を開き、ファイルから行を削除します。

私はいくつか試しましたが、sed部分（最後に）は文字列を理解できず（エスケープ文字を試しました）、そのファイルから削除しました！コードの

cat File 
https://something.net/xxx/data/Folder1/ 
https://something.net/xxx/data/Folder2/ 
https://something.net/xxx/data/Folder3/ 

私の行は次のとおりです。事前に

cat File | xargs -n1 -I @ bash -c 'wget -r -nd -l 1 -c -A rar,zip,7z,txt,jpg,iso,sfv,md5,pdf --no-parent --restrict-file-names=nocontrol --user=test --password=pass --no-check-certificate "@" -P /mnt/USB/ && sed -e 's|@||g' File' 

それはsed -e 's|@||g' File部分まで動作します。..

ありがとう！

Answer 1

@beliyの回答はよく見えます！

あなたはワンライナーをしたい場合は、あなたが行うことができます：

while read -r line; do \ 
wget -r -nd -l 1 -c -A rar,zip,7z,txt,jpg,iso,sfv,md5,pdf \ 
--no-parent --restrict-file-names=nocontrol --user=test \ 
--password=pass --no-check-certificate "$line" -P /mnt/USB/ \ 
&& sed -i -e '\|'"$line"'|d' "File.txt"; \ 
done < File.txt 

EDIT： You need to add a \ in front of the first pipe

Answer 2

sed -eの後に二重引用符を使用する必要があると思います。代わりに：

'...&& sed -e 's|@||g' File' 

あなたは私はあなたがやろうとか見て、私はパイプを含むsedコマンドを理解しない

'...&& sed -e '"'s|@||g'"' File' 

Answer 3

が必要になります。たぶん私は理解していないいくつかの派手な形式。

とにかく、私はsedコマンドは次のようになります...

sed -e 's/@//g' 

このコマンドは、ストリームからすべての@を削除すると思います。
こちらがお役に立てば幸いです。

Answer 4

ポーズがある場合は、catを使用しないでください。それは...私のバリアント悪い習慣だと、大きなファイルに問題があることができます...あなたはそれがより正確であると、二重引用符でsedを使用する方が簡単になるの

for siteUrl in $(< "File"); do 

に

cat File | xargs -n1 -I @ bash -c 

を変更することができます。

scriptDir=$(dirname -- "$0") 
for siteUrl in $(< "$scriptDir/File.txt") 
do 
    if [[ -z "$siteUrl" ]]; then break; fi # break line if him empty 
    wget -r -nd -l 1 -c -A rar,zip,7z,txt,jpg,iso,sfv,md5,pdf --no-parent --restrict-file-names=nocontrol --user=test --password=pass --no-check-certificate "$siteUrl" -P /mnt/USB/ && sed -i "s|$siteUrl||g" "$scriptDir/File.txt" 
done