で送信されたファイルを読む私は<strong>ドライバ</strong>コードによって<code>some.properties</code>ファイルの内容を読みたい</p> <pre><code>spark-submit ... --deploy-mode cluster --files some.properties ... </code></pre> <p>を実行することにより、ドライバ

Question

私はリモートクラスタ上で実行するスパークジョブを送信していことで火花を提出つまり、Sparkコンテキストを作成してRDDタスクを起動する前に実行します。ファイルはリモートドライバにコピーされますが、ドライバの作業ディレクトリにはコピーされません。

私の知っているこの問題を回避する方法は以下のとおりです。

1. は
2. ストアアプリジャー内のファイル

このファイルは頻繁にあるので、どちらが不便であるHDFSにファイルをアップロード開発マシンを提出すると変更されました。

ドライバコードのメインメソッドで--filesフラグを使用してアップロードされたファイルを読み取る方法はありますか？

Answer 1

はい、--files引数でアップロードしたファイルにアクセスできます。私はこれらのファイルは、労働者にダウンロードされていると信じてやる

val filename = args(0) 
val linecount = Source.fromFile(filename).getLines.size 

：

./bin/spark-submit \ 
--class com.MyClass \ 
--master yarn-cluster \ 
--files /path/to/some/file.ext \ 
--jars lib/datanucleus-api-jdo-3.2.6.jar,lib/datanucleus-rdbms-3.2.9.jar,lib/datanucleus-core-3.2.10.jar \ 
/path/to/app.jar file.ext 

と私のスパークのコードで：

は、これは私が--files経由で渡されたファイルにアクセスすることができるよ方法ですjarファイルと同じディレクトリが置かれます。そのため、絶対パスではなくファイル名を単に渡すのはSource.fromFileです。

Answer 2

--filesオプションと--archivesオプションは、Hadoopに似た＃でファイル名を指定することをサポートします。たとえば、--files localtest.txt＃appSees.txtを指定すると、ローカルにlocaltest.txtという名前のファイルがHDFSにアップロードされますが、これはappSees.txtという名前でリンクされます。アプリケーションでは、 YARNで実行しているときに参照するappSees.txtという名前。

これは私のsparkストリーミングアプリケーションの糸/クライアントと糸/クラスタモードの両方で動作します。多分あなたを助けることができます

Answer 3

私はPython Sparkで開発した素晴らしいソリューションを使って、外部からのファイルをビッグデータプラットフォームに統合しています。

楽しんでください。

# Load from the Spark driver any local text file and return a RDD (really useful in YARN mode to integrate new data at the fly) 
# (See https://community.hortonworks.com/questions/38482/loading-local-file-to-apache-spark.html) 
def parallelizeTextFileToRDD(sparkContext, localTextFilePath, splitChar): 
    localTextFilePath = localTextFilePath.strip(' ') 
    if (localTextFilePath.startswith("file://")): 
     localTextFilePath = localTextFilePath[7:] 
    import subprocess 
    dataBytes = subprocess.check_output("cat " + localTextFilePath, shell=True) 
    textRDD = sparkContext.parallelize(dataBytes.split(splitChar)) 
    return textRDD 

# Usage example 
myRDD = parallelizeTextFileToRDD(sc, '~/myTextFile.txt', '\n') # Load my local file as a RDD 
myRDD.saveAsTextFile('/user/foo/myTextFile') # Store my data to HDFS 

Answer 4

問題を回避する方法は、あなたがSparkFiles.get('FILE')の助けを借りて--filesに渡されたファイルを単にSparkContext.getOrCreate()を呼び出すことによって、一時的なSparkContextを作成し、読むことができるということです。

ファイルを読み終えたら、必要なすべての設定をSparkConf()変数で取得します。その後

この関数を呼び出す：

SparkContext.stop(SparkContext.getOrCreate()) 

これは、既存のSparkContext次の行に比べてをdistroyます単にこのような必要な構成で新しいSparkContextをinitalize。

sc = SparkContext(conf=conf).getOrCreate() 

あなたは、ネットワーク上のファイルを置くことが目的の設定