2011-12-14 25 views
6

このトピックは初めてです。私は、私のプロジェクトでjavaのクラウドデータ処理アプリケーションのための並列処理フレームワークを開発することに決めました。フレームワークは、与えられたシーケンシャルJavaコードを分割し、そのサブコードをクラウド内の異なる仮想マシンに処理する必要があります。フレームワークは、負荷に応じてリソースを動的に割り当ておよび割り当て解除しなければならない。私の問題は、フレームワークの開発方法です。Javaの並列処理フレームワーク

クラウド内の異なる仮想マシンにJavaコードをスケジュールするためのライブラリがありますか?何かがある場合は私に知らせてください。

+0

興味深いことに、私も同様にビルドしようとしています。 私はすでに、単純なシェルスクリプトとPython(ファブリック)を使って書かれた1つの並列処理フレームワークを持っています。それが助けになるかどうかはわかりません。 HadoopまたはStormは、リアルタイム/バッチデータの分散処理と集約のほうが多いです。 私は特にJavaベースの並列処理フレームワークを探しています。これは、Javaでそれを持つためのいくつかの追加の依存関係があるからです。少なくとも、私は本当に恥ずかしいほど並列処理アーキテクチャを構築するのに役立つJavaモジュールを探しています。 – user1652054

答えて

2

Hazelcast、Hadoopなどのソリューションがあります。このプロジェクトを見ることができます。

1

基本的に同じことが可能なフレームワークであるHadoopを見てください。また、クラスタ全体での自動コード展開がサポートされています。

4

TerracottaおよびGridgainは優れた解決策です。 yerlikayaoglu(Hadoopとヘーゼルキャスト)によって引用されているものは、ドメイン内でも優れていますが、それらはすべて4つ非常に異なり、ユースケースに依存します。これはマップ/リダクションの問題です

もう1つは仮想マシンの割り当て/割り当て解除です。あなたのクラウドプロバイダーやその他のことに依存します。あなたは見ることができますjClouds

0

リアルタイム処理を行いたい場合はstormをご覧ください。 Akkaは、scalaとjava用の素晴らしいリモートアクターAPIを提供します。