ScalaのMapReduce実装

Question

スカラから利用できるように、優れた堅牢なMapReduceフレームワークを探したいと思います。

Answer 1

Hadoopでの回答に追加するには：少なくとも2つのScalaラッパーがあり、Hadoopをより使いやすくすることができます。 Scalaの地図を削減

（SMR）：http://scala-blogs.org/2008/09/scalable-language-and-scalable.html

SHadoop：http://jonhnny-weslley.blogspot.com/2008/05/shadoop.html

UPD 10月5日11

また、Scoobiフレームワークもあり、素晴らしい表現力があります。

Answer 2

http://hadoop.apache.org/は言語に依存しません。

Answer 3

scouchdb、CouchDBを使用するScalaインターフェイスに興味があるかもしれません。

もう1つのアイデアはGridGainです。 ScalaDudesには、ScalaでGridGainを使用する例があります。もう一つの例はhereです。

Answer 4

私はまさにこの問題に遭遇し、ScalaからHadoopを使いやすくするための小さなインフラストラクチャを作成しました。私はしばらくそれを使っていましたが、ついにそれをウェブ上に置くことになりました。それは（非常に元々）ScalaHadoopという名前です。

Answer 5

to jshen's point：

hadoopストリーミングは単にソケットを使用します。 Unixストリームを使用すると、コード（任意の言語）はstdinから読み込み、タブで区切られたストリームを出力するだけで済みます。マッパーを実装し、必要に応じてレデューサー（必要に応じてコンバイナーとして設定）を実行します。

Answer 6

hadoopの上にあるscala APIについては、Scoobiをチェックアウトしていますが、まだまだ開発が進んでいますが、多くの約束事を示しています。 Scala incubatorのhadoopの上に分散コレクションを実装する努力もありますが、その努力はまだ使えません。

Scaldingと呼ばれるTwitterからカスケードするための新しいスケーララッパーもあります。 Scaldingのドキュメントを非常に簡単に見てみると、 のように、カスケードとの統合がスムーズになりますが、まだ はカスケードの主な問題を解決できません。 カスケードの各演算は、カスケードのタプル（基本的に のフィールド値のリストであり、別個のスキーマの有無にかかわらず）で動作します。つまり、 型のエラーです。キーを文字列とキーとしてLongに結合すると、実行時にエラーが発生します（ ）。

Answer 7

個人的に、私は、Sparkの大ファンになった

http://spark-project.org/

あなたはかなりあなたはディスクを集中MapReduceの操作から経験するオーバーヘッドを削減する、メモリ内のクラスタコンピューティングを行う能力を持っています。