Dataproc pysparkマップ内でGCP Translate APIを呼び出す

Question

ファイル内の各行に対してpysparkからクライアントAPIを翻訳する言語検出メソッドを呼び出そうとしています。

マップメソッドを次のように作成しましたが、ジョブがエラーなしでフリーズしているようです。私は翻訳APIへの呼び出しを削除する場合、それは正常に実行されます。 pySparkマップ内でGoogleクライアントAPIメソッドを呼び出すことは可能ですか？

デフdoTranslate（データ）を翻訳

を行うためのマッピング方法は：

translate_client = translate.Client() 

# Get the message information 
messageId = data[0] 
messageContent = data[6] 

detectedLang = translate_client.detect_language(messageContent) 

r = [] 
r.append(detectedLang) 
return r 

Answer 1

はそれを考え出しました！あなたの質問は正しい方向に私を導いた。ありがとう！

私はメッセージのサイズのデフォルトクォータを超えていたので、私はコールから例外が発生しました。私はtry/exceptブロックを追加し、これが問題であると判断しました。その後、メッセージサイズを小さくする（私はちょうどテストしているので、割り当て量を浪費したくない）問題を修正しました。