2016-07-23 7 views
0

hadoopで共起アルゴリズムを使用しているgithub https://github.com/fbukevin/hadoop-cooccurrenceの次のプロジェクトが見つかりました。hadoopで共起アルゴリズムを実行

私は仮想化されたUbuntu 14.04を使用しており、この命令を使って単一ノードクラスタとしてhadoopをインストールすることができます。http://www.bogotobogo.com/Hadoop/BigData_hadoop_Install_on_ubuntu_single_node_cluster.php私はhadoopが初めてで、これは糸でプログラムを実行しようとする私の最初の試みです。

コマンドラインでyarnコマンドを実行できますが、yarnで共起アルゴリズムを実行する方法がわかりません。

$ yarn jar /home/vmiller/Downloads/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar pairs pg100.txt 
Exception in thread "main" java.lang.ClassNotFoundException: pairs 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:278) 
    at org.apache.hadoop.util.RunJar.run(RunJar.java:214) 
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136) 

これは間違いなく正しいではありませんが、私は実行する方法がわからない:説明では、プログラムはだから私はこれを試してみました

$ yarn jar <hadoop>.jar [pairs | stripes] <input_file>

次のコマンドで使用することができると述べていますコマンドを正しく実行してください。何とかyarnhadoop-cooccurrence/src/main/java/cooc/Cooccurrence.javaにあるCooccurrence.javaを使用するように指示する必要があります。なぜなら、このファイルは共起アルゴリズムを実行するファイルだと思われるからです。しかし、入力ファイルのpairsstripes引数でこのファイルを使用するように糸を指示するにはどうすればよいですか?

答えて

0

に設定されているとしてあなたは、私が実際にプログラムの開発を実行するために管理クラス名を指定する必要はありません。私のアプローチはそれほど間違っていませんでした。tokiloutokは適切なjarファイルを含める必要があると述べました。

私はコマンドを実行する前に、pg100.txtをHDFSにインポートしなければなりませんでした。

だから私は

hdfs dfsadmin -safemode leave 

と名前ノードのセーフモードを無効にし、私は最終的にせずに

yarn jar target/cooc-1.0-SNAPSHOT.jar pairs pg100.txt 

を実行できるように

hdfs dfs -put /home/vmiller/workspace/hadoop-cooccurrence/pg100.txt /user/hadoop/ 

でファイルをインポートする必要がありましたエラーが発生しました。

0

jarにCooccurrenceクラスを含むjarへのパスを与える必要があります。 Jarがターゲットフォルダ(cooc-1.0-SNAPSHOT.jar)にあります。

それがマニフェストファイルに

関連する問題