原因：java.lang.ClassNotFoundException：net.jpountz.lz4.LZ4BlockOutputStream

Question

Scala Eclipse IDEを使用して、サンプルのScala Sparkプログラムを開始しました。このプログラムは、私が圧縮せずに単純なテキストファイルを作成した単純な単語Countです。 sc.textFile（ "word.txt"）を実行中に私のコードは

をScalaのアプリケーションは、 "：：java.lang.ClassNotFoundExceptionがnet.jpountz.lz4.LZ4BlockOutputStreamによって発生する" エラー

を得たようなコードを実行中

import org.apache.spark.SparkConf 
import org.apache.spark.SparkContext 
import net.jpountz.lz4.LZ4BlockOutputStream 

object WordCount { 
    def main (args: Array[String]) = { 
    val conf = new SparkConf().setAppName("WordCount").setMaster("local") 
    val sc = new SparkContext(conf) 

    val test = sc.textFile("word.txt") 
    //test.flatMap{line => line.split(" ")}.saveAsTextFile("wordCount.txt") 

    //.map{word => (word,1)}.reduceByKey(_ + _).saveAsTextFile("wordCount.txt") 
    } 
} 

ローカルWindowsマシンで実行しています。これはPOM.xmlの問題ですか？

Answer 1

@eliasahが上記のコメントで述べたように、コードからLZ4BlockOutputStreamimportを削除してください。次の行を削除するだけで大​​丈夫です。

import net.jpountz.lz4.LZ4BlockOutputStream 

これは、classNotFoundExceptionという不要なコードです。あなたが将来的にそれを使用しようとしている場合しかし、あなたは、あなたがimportを削除する必要はありませんPOMファイルにdependency

<!-- https://mvnrepository.com/artifact/net.jpountz.lz4/lz4 --> 
<dependency> 
    <groupId>net.jpountz.lz4</groupId> 
    <artifactId>lz4</artifactId> 
    <version>1.3.0</version> 

以下を追加することができます。