gcp

1熱

1答えて

pyspark ALSの「recommendProductsForUsers」を適用したときのStackOverflowエラー（300GB以上のRAMが利用可能ですが）

以下の問題について私を導く専門知識をお探しください。背景：私はGoogleクラウドDataprocクラスタを使用する展開インフラとしてthis example に触発基本PySparkスクリプトと一緒に行く取得しようとしています。私のコードで礎石は私が ALSを負う機能「recommendProductsForUsersは」モデル問題ですべてのユーザーのトップX製品を私に戻っていますher

1熱

1答えて

私の唯一のフロントエンドとデータベースポッドが横たわっているGCPはGCPです。

私のアプリはGoogleクラウドプラットフォーム（GCP）で動作しており、コンテナはkubernetesで動作しています。問題：。クラウドプラットフォームは、ダウンスケーリングのノードである場合には、それは私の唯一のデータベースとフロントエンドポッドに横たわっているノードを、殺す質問：GCPの殺害ノードを停止する方法、私のフロントエンドとデータベースポッドのみが内部にありますか？

0熱

1答えて

mavenとeclipseなしでgoogle dataflowを使用する

私はjavaとunixでmavenとeclipseなしでgoogle dataflowを使いたいです。それを行う方法はありますか？

2熱

1答えて

Google Big Query - 最終データを含む日付分割テーブル

BigQueryの使用例は少しユニークです。私はDate-Partitioned Tablesを使い始めるが、我々のデータは非常に最終的なものである。それが発生したときに挿入されることはありませんが、最終的にサーバーに提供されるときに挿入されます。時には、データが挿入されるまでに数日か数か月かかることがあります。したがって、_PARTITION_LOAD_TIME属性は無用です。私の質問では、_

0熱

1答えて

google cloudクラスタのマルチノードスパークジョブのモジュールエラー

このコードは、masterをlocalhostに設定すると完璧に動作します。この問題は、2つのワーカー・ノードを持つクラスタでサブミットすると発生します。すべてのマシンに同じバージョンのpythonとパッケージがあります。また、目的のPythonバージョン、つまり3.5.1を指すようにパスを設定しました。私がマスターsshセッションで私のスパークジョブを提出するとき。次のエラーが表示されます。