google-cloud-dataflow

0熱

2答えて

Googleのクラウドストレージ：出力パスが存在しないか、私はGoogleのクラウドサイトからこの単純なデータフロー例に従うしようとしています

書き込み可能ではありませんん。私は成功したデータフローパイプラインのプラグインとのgcloud SDKをインストールしたhttps://cloud.google.com/dataflow/getting-started-eclipse を（だけでなく、 Python 2.7）。また、上記の手順で指定されているように、googleクラウドのプロジェクトを設定し、請求とすべての必要なAPIを有効にしま

jenkins permissions google-cloud-storage google-cloud-dataflow gsutil 2016-03-19

---

0熱

1答えて

StreamingWordCount例mavenコンパイル時エラー

クラウドインスタンスでGoogleのデータフローの例をコンパイルしているときに、次のエラーが発生しています。私は、次のコマンド mvn compile exec:java -Dexec.mainClass=com.google.cloud.dataflow.examples.complete.StreamingWordCount.java を使用してStreamingWordCountの名前で

maven streaming google-bigquery pipeline google-cloud-dataflow 2016-03-19

---

0熱

1答えて

GCPでデータフローAPIがアクティブにならない

私のプロジェクトでデータフローAPIを使用しようとしています。私は日食で私のデータフロージョブを実行したときしかし、私はランタイムエラーを取得https://console.cloud.google.com/flows/enableapi?apiid=dataflow,compute_component,logging,storage_component,storage_api,bigquery,

google-app-engine google-cloud-dataflow 2016-03-20

---

0熱

1答えて

下位互換性のあるコーダーを使用した変換のコーダーを変更する

カスタム実装のためにコーダー（StringUtf8Coder）をスワップアウトする方法を理解しようとしています。 import com.google.cloud.dataflow.sdk.coders.ByteArrayCoder; import com.google.cloud.dataflow.sdk.coders.Coder; import com.google.cloud.datafl

java google-cloud-dataflow 2016-03-21

---

2熱

2答えて

BigQuerySinkのJSONテーブルスキーマからbigquery.TableSchemaへ

JSONフォーマット（名前、タイプ、モード属性）で定義され、ファイルに格納されている、些細なテーブルスキーマ（ネストされたフィールドと繰り返しフィールドを含む）を持っています。 bq loadコマンドを使用してbigqueryテーブルを生成するために使用されています。 しかし、私はデータフローのPython SDKとBigQuerySinkで同じことをしようとすると、schema引数は'name'

python google-cloud-dataflow 2016-03-21

---

2熱

1答えて

メッセージとオプション属性をPubSubIOからどのように取得しますか？

私はPubSubに関するトピックを持っています。トピックから読み取るデータフロー上のパイプラインを作成して、メッセージデータに従ってそれらを分類し、さらに属性キー値のペアを読み取る必要があります。 PubSubIOの読み取りトランスフォームを使用してPCollectionに変換した後で、メッセージと属性を区別する方法はありますか？

google-cloud-dataflow google-cloud-pubsub 2016-03-22

---

0熱

1答えて

私のGCP DataflowパイプラインがVMを作成できないのはなぜですか？

VMを作成できない理由を示すエラーメッセージには何も表示されません。以下のエラーメッセージは、DataFlow Webコンソールのログ「タブ」にあります。私はどこでも詳細やその他のエラーを見つけることができませんでした。 2016年3月23日1:07:09 PM （d408c858b9bd6602）：ワークフローに失敗しました。原因：（7bc822caf77dd216）：VMを作成できません。 私

google-cloud-dataflow 2016-03-23

---

1熱

1答えて

PubsubIO.ReadでPipelineを作成できません。リソースの設定が失敗しました。

私のテストパイプラインは本当に簡単です。コンソールから作成したトピックから読み込みを試みます。 public static void main(String[] args) throws IOException { Options options = PipelineOptionsFactory.fromArgs(args). withValidation().as(Op

google-cloud-dataflow google-cloud-pubsub 2016-03-23

---

1熱

1答えて

GroupByKey.GroupByKeyOnlyのトランスレータが登録されていません

データフローを使用してGoGroupByKeyを実行しようとするとこのエラーが発生します。高レベルでは、私はタイプKV<String, self-defined-class>とタイプKV<String, TableRow>の2つのPCollectionに参加したいと思います。私はほとんどの場合official document PCollection<KV<String, TableRow>> p

google-cloud-dataflow 2016-03-23

---

5熱

2答えて

アプリケーションデフォルトの資格情報がApp Engineでローカルに動作しない

OS Xで開発中のJava App Engineプロジェクトでローカルに実行されているときに、デフォルトアプリケーションの資格情報をDataflow SDKにロードするのに苦労します。 thisによるとdevのアプリサーバは、それらをサポートしていない、とあなたはのgcloudコマンドラインツールのコマンドを使用することを意図している：gcloud preview app run - しかし、コマ

google-app-engine google-cloud-dataflow google-identity google-cloud-sdk 2016-02-19

---