2017-08-04 3 views
0

私たちはインデックス作成のニーズに合わせてHDFSでSolrを使用しています。私たちのパフォーマンスランで既存のドキュメントを更新している(既存のドキュメントとアップデートを読む)と、HDFSストレージスペースが急激に増加していることがわかりました。ここで述べた標準設定(https://cwiki.apache.org/confluence/display/solr/Running+Solr+on+HDFS)を使用しています。私たちの問題の根本原因となるものの手がかりは?ご協力いただきありがとうございます。Solrでドキュメントを更新する際に、hdfsスペースが大幅に増加しています

+0

大声で考えてみましょう:既存のドキュメントを更新する前に削除する必要がありますか?すなわち、既存の読み取り、新しい文書の構築、既存の文書の削除、更新を行う。ストレージについて言及したので指摘してください。 – chinglun

+0

Solrはそれを自動的に行います。手動で削除する必要はありません。 SolrがHDFSと統合されている場合にのみ、この問題が発生します。別のファイルシステムでうまくいきました。 – geekprogrammer

+0

クリーンアップは有効になっていますか? – chinglun

答えて

0

この問題を解決するために、さまざまな設定値をテストしています。これまでのところ、solrconfig.xmlファイルでsolr.hdfs.blockcache.direct.memory.allocation = trueを有効にすると、問題は解決されているようです。

関連する問題