グループ間で大規模なデータセットを共有する

Question

人のグループの中で100GBを超える大きなファイルを共有するオンラインサービスを提案できますか？ 具体的には、ファイルに常時アクセスする必要があるが、ダウンロードする必要のない機械学習プロジェクトに取り組んでいます。このプロジェクトでは、pythonとRでファイルを操作しますが、私はGitでコードをアップロードして共有することができますが、情報を保存してオンラインで再生できるサービス（ドッカーのようなもの）はありますか？

ありがとうございます！

Answer 1

一般的なプラクティス - コードにはGit、データにはS3を使用します。

オープンソースツールDVC - http://dataversioncontrol.com - をチェックして、S3またはGCPストレージでGitモデリングコードを調整することもできます。 MLシナリオ用に設計されています。 PythonとRコードの両方がDVCでサポートされています。