私はCascalog始めるガイドでは、HadoopのCascalog Hadoopのバージョンのサポート
:profiles { :dev {:dependencies [[org.apache.hadoop/hadoop-core "1.0.3"]]}}
のバージョン私のグループは、Hadoopのの異なるバージョンを使用している場合、私は運の外だが指定されていることに気づきますか?より広義には、どのバージョンのHadoopがCascalogと相互運用できますか?
私はCascalog始めるガイドでは、HadoopのCascalog Hadoopのバージョンのサポート
:profiles { :dev {:dependencies [[org.apache.hadoop/hadoop-core "1.0.3"]]}}
のバージョン私のグループは、Hadoopのの異なるバージョンを使用している場合、私は運の外だが指定されていることに気づきますか?より広義には、どのバージョンのHadoopがCascalogと相互運用できますか?
簡単な答えは現在(2014年8月10日現在)です。Cascalogはバージョン2.1.1で、デフォルトでCascading 2.5.3とHadoop 1.2.1を使用します。チームがHadoopバージョン1を使用していない場合はそうです。あなたは運が悪いです。
ただし、CascalogをHadoop 2.xに移植することができます。 2つのJava依存性を提供することにより、2.5サポートのHadoop 1.xおよび2.xの両方のカスケード
、カスケード-hadoop.jarとカスケード-hadoop2: カスケード2.5.Xは、ドキュメントからのHadoop 2のサポート、 Hadoop 1 vs Hadoop 2を有します-mr1.jar。これらの依存関係は入れ替えることができますが、hadoop2-mr1.jarは新しいAPIを導入し、必要に応じて古いAPI呼び出しを非推奨にします。 hadoop1-mr1.jarは、MapReduce 1 APIの規約のみをサポートしています。この名前付けスキームを使用すると、依存関係の名前付けの危険なしに、新しいAPI規則を導入できます。
- 更新HADOOP-VERSION設定ファイルのproject file
- 更新Hadoopのバージョンでカスケード-Hadoopのジャー
- 検索:
は次のHadoop 2.xのにCascalogを更新するための単純なガイドです廃止されたカスケーディングAPIのすべての用途と新しい条約の更新。
を再発し、警告/エラー
これはほぼ一年経ちましたが、これに変更が加えられたことを誰にも知られていますか?それは人々がこの時点でカスケードの後のバージョンでカスカログを実行する必要がありますが、私はこれを提案する任意のドキュメント/記事を見つけることができないようだ。 – joefromct
私が知る限り、この面で何も変わっていません。 3.0.0の変更履歴を見るhttps://github.com/nathanmarz/cascalog/blob/develop/CHANGELOG.mdでは、カスケードまたはハープバージョンのバンプ処理に関する計画はありません –
カスケード互換性マトリックスは、次のとおりです。http://www.cascading.org/support/compatibility/他のディストリビューションも動作するかもしれませんが、公式にサポートされていません – Alex
@Alexそれは素晴らしいチャートです。 CascalogとCascadingのサポートはまったく同じですか? – MRocklin