スパークジョブからFSのスナップショットを作成する

Question

スパークジョブを実行しているときに、基礎となるHDFSのスナップショットを作成します。特定のステップでは、一部の寄木細工ファイルの内容を削除します。スナップショットを作成して削除操作を実行し、操作結果を確認して次の手順に進みます。

しかし、私はスパークジョブからHDFS APIにアクセスする良い方法を見つけることができません。スナップショットを作成するディレクトリには、HDFSでスナップショット可能なタグが付けられています。スナップショットを作成するコマンドラインの方法は機能しますが、私はこれをプログラムで行う必要があります。

私はCDH 5.5でSpark 1.5を実行しています。

私はこの操作をどのように実行できるかについてのヒントの手がかりを教えてください。

ランデブ

Answer 1

おかげで、私はこれを確認していないが、少なくとも私はコンパイルエラーを取得しないと、理論的には、このソリューションが動作するはずです。私は、これは理論的に動作すると仮定し

val sc = new SparkContext(); 
val fs = FileSystem.get(sc.hadoopConfig) 
val snapshotPath = fs.createSnapshot("path to createsnapshot of","snapshot name") 

..... 
..... 
if (condition satisfied) { 
    fs.deleteSnapshot(snapshotPath,"snapshot name") 
} 

：

これはScalaのコードです。