Google Cloud Dataproc - 送信中の暗号化ですか？

"クラスタ作成またはジョブ提出の場合、データはクラスタ間で転送中にユーザー暗号化できます。"

クラスタ作成時に暗号化を有効にするオプションはありません。基本的には、すべてのコンポーネントを自分で設定して、通信が暗号化されていることを確認してください。

Spark/Hive/Tezジョブがジョブを実行するとき、またはjdbc接続を介してHiveに接続するときに暗号化された通信チャネルを使用するかどうかを理解したいと思っています。

このための既存の初期化アクションはありますか、またはこのステートメントは基本的にすべてあなた次第ですか？

2017-12-08 K2J

私は、GCP APIと話すときに認証/承認/暗号化について話しているとします。重要なことに、データがGCSまたはBigQueryにある場合は、データ転送が保護されます。また、Dataprocの制御プレーン（例えば、クラスタの作成、ジョブの提出）との全ての通信は安全である。

クラスタ内の通信がセキュリティ保護されていないのは正しいですが、は本質的にはエアバッグされたです。ノード間の通信は、隔離されたVPC networkの内部IPを介して行われます。 Dataprocには、ファイアウォールルールの設定方法に関するguidanceがあります。

Dataproc private IP clustersを使用して、VMに外部IPアドレスを持たないようにすることもできます。

私はKerberosを設定するためのinitアクションを認識していません - そう、あなたはDIYをしなければなりません。

2017-12-13 20:22:09

答えて