2017-09-24 10 views
0

私はさまざまなウェブサイトからのデータをスクラップして、いくつかのデータをCSVファイルに書き込むPythonスクリプトを持っています。Herokuを使用してデータをスクラップして後でダウンロードすることはできますか?

私はローカルコンピュータから毎日これを実行していますが、これをサーバー上で自動的に実行したいと考えています。

私はPythonAnywhereを試しましたが、ホワイトリストがbloomberg.comを掻き取るのを止めているようです。

私はHerokuに渡されました。私はワーカー(pythonスクリプト)を配備しました。すべてがうまくいくようですが、PythonスクリプトがCSVファイルを書き込むと思われるディレクトリにHeroku bashを見ても何も表示されません。

これらのCSVファイルが書き込まれた場合に、どのようにダウンロードするのか分かりません。

私はHerokuで達成しようとしていることを実際に達成できるのか、またはPythonAnywhereを支払うことによってPythonスクリプトをサーバー上で動作させる唯一の方法があり、

答えて

1

Herokuのファイルシステムは、dyno単位であり、一過性です。後で使うために物を救うべきではありません。

代わりに、Amazon S3などの永続的な場所に書き込むこともできます。これにはbotoライブラリを使用できます。 S3のストレージとデータはお支払いいただく必要がありますが、非常に安価です。

+0

私はWeb Sapceプロバイダと同じことをすることはできませんか?または何らかの理由でAmazon S3だけがHerokuと連携しますか? – user3755529

+0

あなたは他に何を考えていますか? S3はこの種のものに対する通常の解決策ですが、私はGoogleとMicrosoftが同様のサービスを提供していると思います。ポイントは、あなたが保存したデータに対してのみ課金するものが欲しいということです。 –

+0

はいAmazonはかなり良い解決策ですが、000Webhostとしての無料のWebスペースが適切かもしれないと思っていました。私は初心者ですので、おそらくばかげた質問 – user3755529

関連する問題