静的プールで色相リソースを制限するcgroup

Question

静的サービスプールのcgroupを介してHadoopサービスを制限できると理解しました。時には、Edgeノード上にあるすべてのメモリを食い止め、ロードプロセスを傷つけるため、色相サービスを制限したいと思います。
しかし、私は静的サービスプール設定で色相を見つけることができませんでした - それは私にオプションを与える - HDFS、インパラ、ヤーン、Hbase。
ここで色相の設定を行うことはできますか、それとも別の場所で行う必要がありますか？

ありがとうございます。

Answer 1

この場合、Cloudera Manager Hue設定ページでcgroupメモリのソフト制限値を設定しようとすることはできますが、それはあまり効果がないと思います。これはPython メモリ断片化のためにHueの既知の問題です。 Hueでは、大規模なクエリ結果セット（10M以上）をダウンロードするか、HDFSファイルブラウザを使用して多数のファイル（1000+）を含むHDFSディレクトリを参照するなど、Hueでトリガされる操作がいくつかあります。ユーザーにこれらの操作を控えるように依頼してください。

このメモリの問題が発生し続ける場合は、https://github.com/cloudera/hue/blob/master/tools/ops/hue_mem_cron.shのスクリプトを使用してcronジョブを設定できます。このスクリプトは色相プロセスのメモリ使用量を監視し、使用量が多すぎる場合はそれを強制終了します。 Hueを自動的に再起動するには、Cloudera Managerを設定する必要があります。

もちろん、色相を殺すことは理想的な解決策ではありません。あなたができることは、問題を軽減するために複数の色相インスタンスの前にロードバランサを持つ色相HAをセットアップすることです。あなたは文書に従ってそれを設定することができます

Answer 2

必要に応じてcgroupメモリオプション（Cgroup Memory Soft Limit、Cgroup Memory Hard Limit）を有効にすることができます。