柔軟なスクリプトの配布とデータ収集のためにPythonでエージェントフレームワークを作成する最善の方法は何ですか？

Question

私は何をしようとしていますか？非常に大きなログファイルを持つ何百ものサーバがあります。私はさまざまな方法でログを解析するための素敵なpythonスクリプトを作成しており、私が収集しているデータを集約したいと思っています。また、変化するスクリプトを集中管理したいと思っています。考え方は、各サーバーに接続したり、スクリプトをサーバーにscpしたり、pexpectなどでプロセスを実行したり、結果のデータを別のファイルに集めて戻したりすることです（優先的には、 ）データをストリーミングし、その場で集約します。私はキーを設定する必要はありません（私もそれらを設定する）が、私は接続情報、ログイン、パスワードなどのデータベースがあります。

私の質問は：それはおそらく解決される問題で、誰かがこの種のものを行うか何かを知っているならば、私はこれを行うための固体と実績のある方法があるかどうか...疑問に思ってのように、これは思える

Answer 1

はhadoopのようにあなたの答えは http://www.michael-noll.com/wiki/Writing_An_Hadoop_MapReduce_Program_In_Python

やパイロも良いですが、私はあなたが自動的にスクリプトを配布することができるかどうかわからないです見えます。 http://pyro.sourceforge.net/features.html

Answer 2

パラレルPythonは分散コンピューティングと通信のためのいくつかの機能を提供します。

http://www.parallelpython.com/

Answer 3

はFuncを見てみましょう。これは、Pythonを使用する多数のマシンとのRPCスタイルの通信のフレームワークです。ボーナスとして、内蔵のTLSが付属しているので、セキュリティのためにsshトンネリングの上にレイヤする必要はありません。

Answer 4

あなたの仕事 - スクリプト配布の少なくとも1つの部分は、sparrow - scripts配布システムによって行うことができます。

このように、多くの言語とPythonでスクリプトを書くことができます！ Sparrowは、debやrpmを使ってパッケージをインストールするのと同じ方法で、スクリプトをバージョン、所有権、ドキュメントを含むソフトウェアのパッケージとして扱います。

Sparrowは、さまざまなスクリプトを集中的に開発および管理するためのきれいな方法を提供します。

PS。免責事項 - 私はツールの作者です