2010-11-25 26 views
1

米国のWindowsプロダクションサーバーから定期的に入っているwebserver-log-like-filesをインドのここにあるLinuxサーバーに転送する必要があります。ファイルのサイズはそれぞれ〜4 MBで、毎分約1ファイルです。ウィンドウズで書かれたファイルとLinuxマシンで使用可能なファイルの間に約5分の遅れがあります。私はこのような設計では非常に経験の浅いだと私はここでさまざまなオプションの間で少し混乱しています:WindowsサーバーからLinuxサーバーにファイルを転送する方法

  1. 私は定期的にアーカイブするC#.NETでサービスを書くことを考えて、圧縮およびLinuxにそれらを送っていますマシン。これらのファイルはかなり圧縮可能です。 WinRARは32 MBのこれらのファイルを1.2 MBのアーカイブに変換できます。だからそれはネットワーク転送速度の問題を解決する必要があります。しかし、どのくらい正確にLinuxにファイルを転送するのですか?私はsambaを使用してWindowsサーバー上でLinuxドライブをマウントすることができます。または、FTPサーバーを作成するか、POST要求としてシリアル化されたファイルを送信する必要があります。どちらが良いでしょうか?また、Windowsサーバーの負荷を最小限に抑える必要があります。

  2. 代わりにLinuxでWindowsドライブをマウントします。私はmountコマンドを使うことができますか、ここではsambaを使うことができます(これら2つの長所と短所は何ですか?)。私は、圧縮とコピーの部分をLinux自体に書くことができます。

私はインターネット接続が非常に安定しているとは信じていません。そのため、再試行の仕組みと障害保護が必要です。このような状況で潜在的な問題点とは何か、私が心配する必要がある他の点は何ですか?

おかげで、 ハリ

+0

これはスーパーユーザーには実行しないでください。 – Quamis

答えて

3

RARが悪いです。 7zipまたはbzip2に固執する。おそらくrsyncを使ってsshを使用して転送してください。これはリンク障害に耐えることができるからです。

+0

7z形式では、実際に使用するアルゴリズムを指定できます。 PPMdは、プレーンテキストファイルを圧縮するための非常に高速で効果的なアルゴリズムです。これは、大量のログファイルの収集に最適です。 –

+1

RARは一般的にLinuxには不合理です。コンテンツタイプを知っているので、より効率的な特定のアルゴリズムを選ぶことができます(あいにくgzip/deflateではありません)。 –

+0

@Dean ..チップありがとう:)。しかし、私たちのWindowsのコードはすべてC#であり、GZipをネイティブにサポートしていますので、オプション1を使用するとgzを使用します。オプション2では、perl fo create archiveを使用します。その場合、私は7zを使用します。 –

関連する問題