1
Apache SparkのIBM GPFS(Global Parallel Filesystem)からデータを読み込む可能性はありますか?Apache Sparkで使用するHDFS-GPFSコネクタ
私の意図ではなく、
sc.textFile("hdfs://...")
Hortonworksデータプラットフォームで使用されることが意図されている環境でこの
sc.textFile("gfps://...")
ようなものを使用することです。私は、あなたがGPFSへの読み書きを可能にするGPFSへのコネクタであるHDP(おそらくMAPR-FSがファイルシステム用に持っているもの)に設定することができると言っているarticles, deploying IBM Spectrum Scale File Systemを読みました。誰もこれをやったことがありますか
ありがとうございます。
ローカルファイル 'ファイルとしてGPFSを使用することができます:///" 'またはあなたが' HDFSせずに直接マウントポイントを渡すことができます。当社のプラットフォームに// '://または' GPFS例えば 'BINS/FILESOURCE'を直接使用します –