hadoopで共起アルゴリズムを使用しているgithub https://github.com/fbukevin/hadoop-cooccurrenceの次のプロジェクトが見つかりました。hadoopで共起アルゴリズムを実行
私は仮想化されたUbuntu 14.04を使用しており、この命令を使って単一ノードクラスタとしてhadoopをインストールすることができます。http://www.bogotobogo.com/Hadoop/BigData_hadoop_Install_on_ubuntu_single_node_cluster.php私はhadoopが初めてで、これは糸でプログラムを実行しようとする私の最初の試みです。
コマンドラインでyarn
コマンドを実行できますが、yarn
で共起アルゴリズムを実行する方法がわかりません。
$ yarn jar /home/vmiller/Downloads/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar pairs pg100.txt
Exception in thread "main" java.lang.ClassNotFoundException: pairs
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:278)
at org.apache.hadoop.util.RunJar.run(RunJar.java:214)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
これは間違いなく正しいではありませんが、私は実行する方法がわからない:説明では、プログラムはだから私はこれを試してみました
$ yarn jar <hadoop>.jar [pairs | stripes] <input_file>
次のコマンドで使用することができると述べていますコマンドを正しく実行してください。何とかyarn
にhadoop-cooccurrence/src/main/java/cooc/Cooccurrence.java
にあるCooccurrence.java
を使用するように指示する必要があります。なぜなら、このファイルは共起アルゴリズムを実行するファイルだと思われるからです。しかし、入力ファイルのpairs
とstripes
引数でこのファイルを使用するように糸を指示するにはどうすればよいですか?