CommonCrawlを照会してDigital Object Identifier（DOI）データベースにデータを入力するJava API

Question

インターネット上に存在するデジタルオブジェクト識別子（DOI）のデータベースを作成しようとしています。

手動でCommonCrawlインデックスサーバーを手動で検索すると、いくつかの有望な結果が得られました。

しかし、私はプログラム的なソリューションを開発したいと考えています。

これにより、私のプロセスでは、インデックスファイルを読み込み、基になるWARCデータファイルを読み込まなくてもよい場合があります。

私は自動化したいマニュアルの手順は、これらのは次のとおりです。 -

1）。それぞれについてCommonCrawl現在利用可能なインデックスのコレクション：

2）。私は... "Search a url in this collection: (Wildcards -- Prefix: http://example.com/* Domain: *.example.com)"を検索します。 link.springer.com/*

3）。これは約22Kの一意のDOIを含むほぼ6MBのjsonデータを返します。

はどのようにして、特定のURLの検索利用可能なすべてのCommonCrawlインデックスの代わりに、を閲覧ことができますか？

CommonCrawlのAPIドキュメントを読むと、すべてのドメインのすべてのDOIを抽出するためにすべてのインデックスを参照する方法がわかりません。

UPDATE私は、共通のクロールデータセットにアクセスする方法を示し、この例のJavaコードhttps://github.com/Smerity/cc-warc-examples/blob/master/src/org/commoncrawl/examples/S3ReaderTest.java

を見つけました。私はそれを実行したときに

は、しかし、私は実際には

"main" org.jets3t.service.S3ServiceException: Service Error Message. -- ResponseCode: 404, ResponseStatus: Not Found, XML Error Message: <?xml version="1.0" encoding="UTF-8"?><Error><Code>NoSuchKey</Code><Message>The specified key does not exist.</Message><Key>common-crawl/crawl-data/CC-MAIN-2016-26/segments/1466783399106.96/warc/CC-MAIN-20160624154959-00160-ip-10-164-35-72.ec2.internal.warc.gz</Key><RequestId>1FEFC14E80D871DE</RequestId><HostId>yfmhUAwkdNeGpYPWZHakSyb5rdtrlSMjuT5tVW/Pfu440jvufLuuTBPC25vIPDr4Cd5x4ruSCHQ=</HostId></Error> 

私は同じエラーで結果を読み取るしようと、すべてのファイルをこの例外が発生しました。何故ですか？

データセットの正しい一般的なクロールURIは何ですか？

Answer 1

：

String fn = "crawl-data/CC-MAIN-2013-48/segments/1386163035819/warc/CC-MAIN-20131204131715-00000-ip-10-33-133-15.ec2.internal.warc.gz"; 
S3Object f = s3s.getObject("commoncrawl", fn, null, null, null, null, null, null); 

もcommoncrawlグループがan updated exampleを持っていることに注意してください。

Answer 2

データセットの場所が1年以上経過してから変更されました。announcementを参照してください。しかし、多くの例とライブラリには古いポインタが含まれています。 s3://commoncrawl/cc-index/collections/CC-MAIN-YYYY-WW/indexes/cdx-00xxx.gzで2013年までのすべてのクロールのインデックスファイルにアクセスできます。YYYY-WWをクロールの年と週に置き換え、から000-299までを展開して300のインデックスパーツすべてを取得します。新しいクロールデータはCommon Crawl groupで、またはhow to access the dataについては詳細をご覧ください。ライン24と25を置き換える動作するサンプルコードを取得するには