私はAWSで25分以上かかる簡単な仕事をしています。私はDPUの数を10から100に変更しましたが、最大でも13分かかります。AWS Glueのパフォーマンスを改善するには?
パフォーマンスを改善するための他の提案はありますか?
私はAWSで25分以上かかる簡単な仕事をしています。私はDPUの数を10から100に変更しましたが、最大でも13分かかります。AWS Glueのパフォーマンスを改善するには?
パフォーマンスを改善するための他の提案はありますか?
私は同じような動作に気付きました。
私の理解では、仕事時間には数分間かかるEMRクラスターのスピンアップが含まれていると私は理解しています。だから、もし8分(ちょっと推測)したら、あなたの仕事時間は17時間から5時間になりました。
あなたの仕事を見てみることはできますか?時にはシンプルな演奏ができないかもしれません。私たちは、DynamicFrame.mapトランスフォーメーションを使用するなどの単純なことは実際には遅く、tmpテーブルを使用してSQLContextを使用してデータをマッピングするほうが良いかもしれないことを発見しました