2012-03-15 6 views
0

hadoopでjava mapreduceジョブを実行する場合は、-archivesオプションを指定してジョブと共にアップロードするアーカイブファイルを選択し、自動的にアーカイブされないようにして、コードがそれらのファイルにアクセスできるようにします。hadoop -archivesと似た方法でアーカイブされたファイルを出荷する方法はありますか

Pigに相当するものはありますか? ライブラリを使用するUDFを作成しています(ソースコードにアクセスできない)。このライブラリには、内部にいくつかのファイルをロードするディレクトリへのパスが必要です。

どのように私は豚の仕事でそのようなディレクトリを出荷することができますか?

答えて

1

これに対する答えは簡単で、すでにhttps://stackoverflow.com/a/4966099

に言及したことが判明し、それを行うための正しい方法は

  1. であるあなたは、各ジョブのためにローカルで利用できるようにしたいファイルを置きますDFS
  2. 実行豚それは

    豚... -Dmapred.cache.archives =を次のようにDFSから、そのファイルを使用する必要があることを知らせるHDFS://ホスト:ポート/パス/ GeoIP.dat。 z IP#GeoIP.dat -Dmapred.create.symlink =はい...

0

shipを見てみましょう。

+0

船には、あなたが推測するストリーミングを使用している必要があります! – humanzz

関連する問題