インデックス作成中にSolrスレッドロック（デッドロック）が発生するとインデックス作成が遅くなる

Question

私のファイルをsolrでインデックス作成しようとしていますが、私のsolrデータは約15GBです。 ファイルのインデックスを作成中に、スレッドがロックアップし、インデックスの更新に要する時間が最大15分になります。私はロックのソースを見つけることができませんが、それはデッドロックのようです。しかしここにスタックトレースがあります。

"http-26300-Processor17" daemon prio=10 tid=0x0000000001d56800 nid=0x34d6 waiting on condition [0x00007f860acfb000] 
    java.lang.Thread.State: WAITING (parking) 
    at sun.misc.Unsafe.park(Native Method) 
    - parking to wait for <0x00007f865f7b90f8> (a java.util.concurrent.FutureTask$Sync) 
    at java.util.concurrent.locks.LockSupport.park(LockSupport.java:186) 
    at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(AbstractQueuedSynchronizer.java:838) 
    at java.util.concurrent.locks.AbstractQueuedSynchronizer.doAcquireSharedInterruptibly(AbstractQueuedSynchronizer.java:998) 
    at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquireSharedInterruptibly(AbstractQueuedSynchronizer.java:1304) 
    at java.util.concurrent.FutureTask$Sync.innerGet(FutureTask.java:248) 
    at java.util.concurrent.FutureTask.get(FutureTask.java:111) 
    at org.apache.solr.update.DirectUpdateHandler2.commit(DirectUpdateHandler2.java:439) 
    at org.apache.solr.update.processor.RunUpdateProcessor.processCommit(RunUpdateProcessorFactory.java:85) 
    at org.apache.solr.handler.RequestHandlerUtils.handleCommit(RequestHandlerUtils.java:107) 
    at org.apache.solr.handler.ContentStreamHandlerBase.handleRequestBody(ContentStreamHandlerBase.java:48) 
    at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:131) 
    at org.apache.solr.core.SolrCore.execute(SolrCore.java:1316) 
    at org.apache.solr.servlet.SolrDispatchFilter.execute(SolrDispatchFilter.java:338) 
    at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:241) 
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:215) 
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:188) 
    at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:213) 
    at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:172) 
    at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:127) 
    at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:117) 
    at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:108) 
    at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:174) 
    at org.apache.coyote.http11.Http11Processor.process(Http11Processor.java:874) 
    at org.apache.coyote.http11.Http11BaseProtocol$Http11ConnectionHandler.processConnection(Http11BaseProtocol.java:665) 
    at org.apache.tomcat.util.net.PoolTcpEndpoint.processSocket(PoolTcpEndpoint.java:528) 
    at org.apache.tomcat.util.net.LeaderFollowerWorkerThread.runIt(LeaderFollowerWorkerThread.java:81) 
    at org.apache.tomcat.util.threads.ThreadPool$ControlRunnable.run(ThreadPool.java:689) 
    at java.lang.Thread.run(Thread.java:636) 

1以上のスレッドのスタックトレース

"pool-6-thread-1" prio=10 tid=0x00007fe8944ee800 nid=0x6b65 waiting on condition [0x00007fe8925cb000] 
    java.lang.Thread.State: WAITING (parking) 
    at sun.misc.Unsafe.park(Native Method) 
    - parking to wait for <0x00007fe8bd4c1900> (a java.util.concurrent.FutureTask$Sync) 
    at java.util.concurrent.locks.LockSupport.park(LockSupport.java:186) 
    at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(AbstractQueuedSynchronizer.java:838) 
    at java.util.concurrent.locks.AbstractQueuedSynchronizer.doAcquireSharedInterruptibly(AbstractQueuedSynchronizer.java:998) 
    at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquireSharedInterruptibly(AbstractQueuedSynchronizer.java:1304) 
    at java.util.concurrent.FutureTask$Sync.innerGet(FutureTask.java:248) 
    at java.util.concurrent.FutureTask.get(FutureTask.java:111) 
    at org.apache.solr.update.DirectUpdateHandler2.commit(DirectUpdateHandler2.java:439) 
    at org.apache.solr.update.DirectUpdateHandler2$CommitTracker.run(DirectUpdateHandler2.java:602) 
    - locked <0x00007fe8ad6ed8b0> (a org.apache.solr.update.DirectUpdateHandler2$CommitTracker) 
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) 
    at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:166) 
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$101(ScheduledThreadPoolExecutor.java:165) 
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:266) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603) 
    at java.lang.Thread.run(Thread.java:636) 

Answer 1

あり、不要な競合であってもよいが、操作が終了した場合、これは、デッドロックがないことを意味かもしれません。

the code of DirectUpdateHandler2を見ると、このスタックは、あなたのコミット/最適化操作後にサーチャーが暖かくなるように頼んでいるためです。コミット/最適化があまり頻繁でないことを確認する必要があります（最後に1つのコミットで十分ですが、最適化はもう推奨されません）。waiting for a searcher to be warmed before returningを停止します。