プロジェクトのソースコードをScrapinghubからダウンロードします

Question

Scrapinghubにプロジェクトを展開しましたが、そのコードのコピーはまったくありません。

プロジェクトのコード全体をローカルホストのScrapinghubからダウンロードするにはどうすればよいですか？

Answer 1

私は、プロジェクトを開いたときproject_id_hereは、ブラウザのURLから取得することができ

shub fetch-eggs project_id_here 

を使用して、プロジェクトコードをダウンロードすることができました。

結果ファイルは*.eggで、WinRARやその他のツールを使用してZIPファイルのように抽出されます。

Answer 2

現在、私が知っている限り、Scrapy Cloudでプロジェクトソースコードを取得するためのパブリックAPIはありません。 （間違っていると私を訂正してください）
しかし、実際には追加の特権なしでプロジェクトのソースコードを取得することは可能です。ジョブが実行されている場合

、プロジェクト関連のファイルは/appパス内で検索：

job-<some-job-id>:/app$ ls -la /app                                                                        
total 48                                                                              
drwxr-xr-x 5 root root  4096 Jul 27 17:13 .                                                                    
drwxr-xr-x 82 root root  4096 Jul 28 04:09 ..                                                                    
-rw-r--r-- 1 root root 26695 Jul 27 17:13 __main__.egg                                                                 
drwxr-xr-x 2 nobody nogroup 4096 May 23 07:34 addons_eggs                                                                 
drwxr-xr-x 2 nobody nogroup 4096 Jul 24 14:27 python                                                                   
-rw-r--r-- 1 root root  14 Jul 24 14:27 requirements.txt 

ファイル__main__.eggは、すべてのプロジェクトのソースコードを含む場合。

したがってあなたは可能性があります。例えば、あなたが後で検索することができるどこか.eggファイルを送信しhttps://app.scrapinghub.com/p/[project_id]/[spider_id]/[job_id]/console

：

1. はでそのコンソールを訪問し、現在実行中のジョブを選択してくださいcurl http://IP-address-of-your-own-server:8888/retrieve-file --data-binary @/app/__main__.egg（データを受信するサービスを用意していることを前提とします）。

また、Scrapinghubサポートにいつでもお手伝いできると思います。