Apache BeamのGCSからファイルを読み込みます。

Question

GCSバケットからファイルを読み込む必要があります。私はGCS API /クライアントライブラリを使用しなければならないことは知っていますが、関連するサンプルは見つかりません。

私はGCSドキュメントのこのリンクを参照しています： GCS Client Librariesしかし、本当に窪みを作ることはできませんでした。もし誰かが本当に助けになる例を提供できれば。おかげさまで

Answer 1

OK。 PCollectionではなく通常のファイルとしてGCSからファイルを読み込みたい場合や、GCS Javaクライアントライブラリに問題がある場合は、Apache Beam FileSystems APIを使用することもできます。

まず、 gs://ファイルシステムの実装が含まれているあなたはbeam-sdks-java-extensions-google-cloud-platform-coreにあなたのpom.xmlにMavenの依存関係を持っていることを確認する：

<dependency> 
    <groupId>org.apache.beam</groupId> 
    <artifactId>beam-sdks-java-extensions-google-cloud-platform-core</artifactId> 
</dependency> 

そして、ファイルシステムのAPIを（それが全てのパイプラインで、デフォルトで設定されていますが」設定それをパイプライン外で使用する場合は、手動で行う必要があります）。

PipelineOptions options = PipelineOptionsFactory.create(); 
// ...Optionally fill in options such as GCP credentials... 
// (see GcpOptions class) 
FileSystems.setDefaultPipelineOptions(options); 

次に、あなたがそれを使用することができます。

ReadableByteChannel chan = FileSystems.open(FileSystems.matchNewResource(
    "gs://path/to/your/file", false /* is_directory */)); 
try (InputStream stream = Channels.newInputStream(chan)) { 
    // Use regular Java utilities to work with the input stream. 
}