一般的なクロールのwarc.gzファイルの2つのレコードの区切り

Question

一般的なクロールからダウンロードしたwarc.gzファイルを解析したいと思います。私はwarc.gzというニュースのファイルを手動で解析する必要があります。 2つのレコード間の区切り文字は何ですか？

Answer 1

gzippedファイルを手動で解析することはできません。あなたの最良の選択肢は、the indexを使って各レコードのオフセットと長さを調べることです。詳細は、api documentationおよびthe guidesを参照してください。

WARCファイルを手動で解析する場合は、まず.gzファイルを解凍します。

WARC records are separated by two newlines

：

A WARC形式のファイルは、1つのまたは複数のWARC レコードの簡単な連結したものです。レコードは、レコードヘッダーとそれに続くレコード 内容ブロックと2つの改行で構成されます。 （改行はCRLFは、他の インターネット標準のとおりです。）

Answer 2

WARCファイルには明確なレコード区切りはありません。レコードは常に '\ r \ n \ r \ n'で終わりますが、これはレコードヘッダーをレコード本体から切り離すためにも使用され、HTML文書のどこでも発生する可能性があります。 WARCレコードの長さは、レコードヘッダーのContent-Lengthによって定義されます。

PySparkで一般的なクロールWARCファイルを処理するには、cc-pysparkを参照してください。