2017-10-20 18 views
1

Apache SparkのIBM GPFS(Global Parallel Filesystem)からデータを読み込む可能性はありますか?Apache Sparkで使用するHDFS-GPFSコネクタ

私の意図ではなく、

sc.textFile("hdfs://...") 

Hortonworksデータプラットフォームで使用されることが意図されている環境でこの

sc.textFile("gfps://...") 

ようなものを使用することです。私は、あなたがGPFSへの読み書きを可能にするGPFSへのコネクタであるHDP(おそらくMAPR-FSがファイルシステム用に持っているもの)に設定することができると言っているarticles, deploying IBM Spectrum Scale File Systemを読みました。誰もこれをやったことがありますか

ありがとうございます。

+0

ローカルファイル 'ファイルとしてGPFSを使用することができます:///" 'またはあなたが' HDFSせずに直接マウントポイントを渡すことができます。当社のプラットフォームに// '://または' GPFS例えば ​​'BINS/FILESOURCE'を直接使用します –

答えて

関連する問題