現在のライブセッションからデータファイルにアクセス

Question

YARNモードでHadoop上でSpark Clusterを実行しています。私はLivyサーバーを構成して、クライアントのスパーク・ジョブをスパーク・クラスターに送信して送信します。 データファイルをJavと一緒に、JavaプログラムからHDFSの.livySessionsフォルダにアップロードされるLivyにアップロードしました。

LivyClient client = new LivyClientBuilder(true).setURI(new URI("http://191.111.123.11:8998")).build(); 
client.uploadFile(new File("/C:/HAL/kmeans_data.txt")).get(); 
Object str = client.uploadJar(new File("/C:/Users/msingh/livy-spring-app-1.3.6.RELEASE.jar")).get(); 

実行するために現在のLivyセッションからデータファイルを読み込むようにプログラムを設定する方法を教えてください。

Answer 1

スパークジョブ内からこれらのファイルをフェッチするSparkFiles.get（）を使用できます。試してみてください。