AvroファイルをHDFSに保存する

HDFSに大量のデータを保存しようとしています。私はPythonを使ってAvroファイルを生成することができました。 AvroはHDFSに直接出力を保存する機能を備えていますか？AvroファイルをHDFSに保存する

2017-03-03 Vivek Ghatala

読む

public void uploadToHdfs(String srcPath, String dstPath) throws IOException { FileSystem fs = getFileSystem(); fs.copyFromLocalFile(new Path(srcPath), new Path(dstPath)); }

感謝を

あなたがアップロード/ HDFSにごavrosを書き、srcPathがローカルアブロあるパイソンに似たものを使用してHDFS APIを使用する必要があるとdstPathは、HDFS上にありますüマニュアル – hB0

Avroはデータをavro形式で保存するためのシリアル化フレームワークであり、HDFSに何かを書き込むインテリジェンスはありません。

出典

2017-04-11 11:48:59 isudarsan

AvroファイルをHDFSに保存する

答えて

関連する問題