Pythonを使用してCSVファイルから最上行と最下行を削除する方法

Question

Excelを使用して編集できないCSVファイルがあります。私は行番号を入力せずに上のいくつかの行（ヘッダー行の前）と最後の行を削除する動的なコードを作成したい。私が今使っているコードは：

FIRST_ROW_NUM = 1 
ROWS_TO_DELETE = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 
18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 5421344} 
with open('filename', 'r') as infile,open('filename', 'w') as outfile: 
    outfile.writelines(row for row_num, row in enumerate(infile, FIRST_ROW_NUM) 
        if row_num not in ROWS_TO_DELETE) 

このコードの問題は、それらを削除するために手動で行番号を入力する必要があります。

私が持っているもう1つの問題は、削除する行数が一定でなく、ファイルからファイルに変化することです。

サンプルCSVは、私は何とか私の側からの入力なしに、それらの行を削除することができ、コードをしたいhere

が装着されています。

注：ありCSVの最後の行についての情報はありませんが、それはこのようなものです：

Grand Total: - - - - - - - - - - - - - - - - - - - - - - - - - - 

Answer 1

itertools dropwhileとtakewhile機能の使用が行を取り出すために：行またはNaNの前の行は、あなたがこれを使用することができます場合は、動的については あなたがしたい：それはReport Fieldsを含む最初の列と行を見つけるまで

import itertools  
import csv 

with open('Test.csv', newline='') as f_input, open('output.csv', 'w', newline='') as f_output: 
    csv_input = csv.reader(f_input) 
    csv_output = csv.writer(f_output) 

    # Skip over initial lines until the header row 
    next(itertools.dropwhile(lambda x: x[0] != "Report Fields", csv_input)) 

    # Write rows until the total row is found 
    csv_output.writerows(itertools.takewhile(lambda x: "Grand Total" not in x[0], csv_input)) 

これは、CSVファイルの各行を読み取ります。次に、この行をスキップします。これで、最初の列エントリに単語Grand Totalが含まれ、その後停止するまで、残りのすべての行が出力CSVファイルに書き込まれます。

Answer 2

は、あなたの入力および出力ファイルを開き、：

for line in infile: 
    if <line matches header row>: 
     break 
outfile.write(line) 
for line in infile: 
    if <line matches grand total line>: 
     break 
    outfile.write(line) 

Answer 3

を私は」最初にファイル全体を文字列として読み込み、読み取ろうとしているデータフレームのインジケータのように分割します。'Report Fields'。そして、あなたは改行で分割し、すべてが、あなたはそれを行うにはパンダとread_csvモジュールを使用することができます[:-1]

with open('infile.csv', 'r') as infile, open('outfile.csv', 'w') as outfile: 
    txt = infile.read().split('Report Fields')[1] 
    outfile.write('\n'.join(txt.split('\n')[1:-1])) 

Answer 4

import pandas as pd 
df = pd.read_csv('file_name.csv', skiprows=27) 
df.drop(df.index[5421327]) #5421327 = 5421344-27 

と最後を含め、リストにインデックスを付けることにより、最後の行を排除することができます。 Skiprowsは、ファイルの先頭でスキップする行番号（0で索引付けする）またはスキップする行数（int）を定義します。 そして最後に5421344のインデックスのドロップコラム。

静的な値です。これはファイルの解析を支援するために、Pythonのcsvライブラリを使用して行われ、することができ

import pandas as pd 
df = read_csv('file_name', skiprows=1) 
df.dropna(axis=0, inplace=True) 
df.drop(df.iloc[-1])