Bashは、一度に1000行のファイルを一度に読み込みます。

Question

txtファイルにbashスクリプトを実行しています（10,000行含まれています）。

splitの代わりに、それぞれ1000行ずつのファイルに分割してこれらの分割を実行するファイルを作成するのではなく、一度に1000行ずつ読み込み、関数を実行してから次の1000行を読み込みたいと思います。ファイルが読み取られました。

私はheadファイルを試してから、sedこれらの行は利用できません。

すべてのヘルプは非常にあなたはおそらく、あなたの関数への個々のチャンクを渡したい

Answer 1

をいただければ幸いです。このようなループ を使用してください。

i=1 
chunk_file="yourfile.txt" 
j=$(($i + 1000 - 1)) 
total_lines=`wc -l $yourfile | awk '{print $1}'` 
#total_lines=10000 
while [[ $i -le $total_lines ]] 
do 
echo $i,$j 
sed -n "$i,$j p" > ${chunk_file} 
yourfunction ${chunk_file} 

i=$(($j + 1)) 
j=$(($i + 1000 - 1)) 

done