SEC Edgar基本データの解析

Question

SEC EDGARの基本データ（キャッシュフロー、収入、貸借対照表など）をダウンロードする予定です.S & P 500インデックスのすべての株をダウンロードする予定です。 FTPを使用してダウンロードできるデータ/ファイルの合計量に上限があるかどうかは知っていますか？ダウンロード可能なデータには1日制限がありますか？

ありがとうございます。

Answer 1

私はあなたが必要なデータ/ファイルを入手できたことを願っています.FTPには時間がかかりません。 SECは、年末にFTPサービスを永久に終了すると発表した。彼らは礼儀正しくなるように頼むように聞こえる一方

https://www.sec.gov/edgar/searchedgar/ftpusers.htm

：

を公平なサーバアクセスを維持するために、我々は、バルクFTP転送要求が午後9時と午前6時間で実行されることを頼みます東部時間。サーバーの負荷を最小限に抑えるため、効率的なスクリプトを使用して、必要なものだけをダウンロードし、要求を取り除いてください。 FTPの停止に関しては

Answer 2

、あなたはhttps://www.sec.gov/Archives/とあなたのURIのftp://ftp.sec.gov/部品を交換し、前とほとんど同じ方法でダウンロードを継続してもよいです。

Answer 3

ftpがシャットダウンされているので、このようなベースURLを使用してファイルをダウンロードします。

base_url = "https://www.sec.gov/cgi-bin/browse-edgar?action=getcompany&CIK="+str(cik)+"&type="+str(type)+"&dateb="+str(priorto)+"&owner=exclude&output=xml&count="+str(count) 

str（*）に関連する情報が表示されているところに入力するだけで済みます。

複数のリクエストを同時に送信するとSEC管理者が私をブロックする場合を除いて、私は何の制限も受けていません。それを避けるため、私は各リクエストの間にsleep(0.5)を入れます。