2013-09-06 3 views
5

私はCascalog始めるガイドでは、HadoopのCascalog Hadoopのバージョンのサポート

:profiles { :dev {:dependencies [[org.apache.hadoop/hadoop-core "1.0.3"]]}} 

のバージョン私のグループは、Hadoopのの異なるバージョンを使用している場合、私は運の外だが指定されていることに気づきますか?より広義には、どのバージョンのHadoopがCascalogと相互運用できますか?

+1

カスケード互換性マトリックスは、次のとおりです。http://www.cascading.org/support/compatibility/他のディストリビューションも動作するかもしれませんが、公式にサポートされていません – Alex

+1

@Alexそれは素晴らしいチャートです。 CascalogとCascadingのサポートはまったく同じですか? – MRocklin

答えて

0

簡単な答えは現在(2014年8月10日現在)です。Cascalogはバージョン2.1.1で、デフォルトでCascading 2.5.3とHadoop 1.2.1を使用します。チームがHadoopバージョン1を使用していない場合はそうです。あなたは運が悪いです。

ただし、CascalogをHadoop 2.xに移植することができます。 2つのJava依存性を提供することにより、2.5サポートのHadoop 1.xおよび2.xの両方のカスケード

、カスケード-hadoop.jarとカスケード-hadoop2: カスケード2.5.Xは、ドキュメントからのHadoop 2のサポート、 Hadoop 1 vs Hadoop 2を有します-mr1.jar。これらの依存関係は入れ替えることができますが、hadoop2-mr1.jarは新しいAPIを導入し、必要に応じて古いAPI呼び出しを非推奨にします。 hadoop1-mr1.jarは、MapReduce 1 APIの規約のみをサポートしています。この名前付けスキームを使用すると、依存関係の名前付けの危険なしに、新しいAPI規則を導入できます。

  • 更新HADOOP-VERSION設定ファイルのproject file
  • 更新Hadoopのバージョンでカスケード-Hadoopのジャー
  • 検索:

は次のHadoop 2.xのにCascalogを更新するための単純なガイドです廃止されたカスケーディングAPIのすべての用途と新しい条約の更新。

  • コンパイルと私はCascalogソースには専門家だが、カスケーディングAPIの使用はgrepの数行を発見し、APIをアップグレードすることはかなりまっすぐらしいことができ
  • を再発し、警告/エラー

  • を修正前方に、少し退屈な場合。

  • +0

    これはほぼ一年経ちましたが、これに変更が加えられたことを誰にも知られていますか?それは人々がこの時点でカスケードの後のバージョンでカスカログを実行する必要がありますが、私はこれを提案する任意のドキュメント/記事を見つけることができないようだ。 – joefromct

    +0

    私が知る限り、この面で何も変わっていません。 3.0.0の変更履歴を見るhttps://github.com/nathanmarz/cascalog/blob/develop/CHANGELOG.mdでは、カスケードまたはハープバージョンのバンプ処理に関する計画はありません –

    関連する問題