Hadoopスタータープロジェクトの提案

私はいくつかの話題を見つけたいと思っています。Hadoopスタータープロジェクトの提案

2012-03-10 Led Zeppelin

MergeSortは素晴らしい/簡単なものです。 generating word counts for all words in a fileと一緒に行くこともできます。良いデータソースは、公開ドメイン書籍のProject Gutenbergライブラリです（これらのうちのいくつかを常に連結することができます）。

単語の数と同じように進んでいるだけのものが必要な場合は、非常に単純な分散型スペルチェッカーを書くことができます。 Peter Norvigは、Pythonで書かれたスペルチェッカーの素晴らしいsimple demonstrationです。良い方法は、このアルゴリズムを分散してファイルを操作するように拡張することです。

出典

2012-03-10 22:13:35 smessing

私はコースのレベル/期待をよりよく理解することなく、どんなアイデアも評価するのをためらっています。しかし、私は、シンプルで簡単に達成できる最終プロジェクトは、スペルチェッカーの分散バージョンと考えています。 1つは、HDFSでソートされている場合はもっと大きなトレーニングセットを使用でき、2つの場合は、それぞれの単語を独立して考えることができるため、非常に高速な処理が可能です（この単純なアルゴリズムの場合）。最後に、それは達成していることと実装されている方法の両方で、単語数やマージソートよりもはるかに上のステップです。 – smessing

ありがとうございました！ :) –

問題ありません！また、下部にリストされているNorvigのアルゴリズムのJava実装があることに気がつきましたが、ここでは始めることができます。 – smessing

あなたはいくつかのプロジェクトhere

小規模のHadoopプロジェクトのいくつかの素晴らしいと興味深い例がありますがあります。すべてが非常によく記述されています。さらに、ソースコードと必要なすべての理論を見つけることができます。

出典

2012-03-11 01:37:14 wonsky

Hadoopスタータープロジェクトの提案

答えて

関連する問題