2017-11-30 16 views
1

WindowsマシンにKafkaサーバーと飼育係を設定しました。here私は首尾よくトピックをセットアップすることができました - MTETestは以下のログで、このトピックへのメッセージを生成し、消費します。トピックがロードされていないため、Kafkaが起動に失敗する

adminitratorコマンドプロンプトで、インストールに付属のバッチファイルを使用してカフカと飼育係を停止​​して起動しようと、私はカフカサーバは以下のメッセージを表示して開始することができないという問題に直面しています -

[2017-11-30 21:26:24,601]エラーログのロード中に スレッドの1つにエラーがありました。java.nio.file.FileSystemException: C:SourceKafkakafka_2.11-0.11.0.1 \ MTETest-0 \ 00000000000000000000.timeindex: プロセスは別の プロセスによって使用されているため、ファイルにアクセスできません。 (kafka.log.LogManager)[2017-11-30 21:26:24,603] FATAL [Kafka Server 0]、KafkaServerの起動中に致命的なエラーが発生しました。 シャットダウン(kafka.server.KafkaServer)java.nio.file.FileSystemException: C:SourceKafkakafka_2.11-0.11.0.1 \ MTETest-0 \ 00000000000000000000.timeindex: プロセスがファイルを使用しているためアクセスできません別の プロセスによって。 sun.nio.fs.で sun.nio.fs.WindowsException.translateToIOException sun.nio.fs.WindowsException.rethrowAsIOException(WindowsException.java:97)で(WindowsException.java:86) で

WindowsException.rethrowAsIOException sun.nio.fs.AbstractFileSystemProvider.deleteIfExists(AbstractFileSystemProvider.java:108)で sun.nio.fs.WindowsFileSystemProvider.implDelete(WindowsFileSystemProvider.java:269)で(WindowsException.java:102) でjava.nio.file.Files.deleteIfExists(Files.java:1165)at kafka.log.Log $$ anonfun $ loadSegmentFiles $ 3.appl y(Log.scala:318) kafka.log.Log $$ anonfun $ loadSegmentFiles $ 3.30(Log.scala:279) にscala.collection.TraversableLike $ WithFilter $$ anonfun $ foreach $ 1.apply(TraversableLike。スカラ:733) でscala.collection.IndexedSeqOptimized $ class.foreach(IndexedSeqOptimized.scala:33) でscala.collection.mutable.ArrayOps $ ofRef.foreach(ArrayOps.scala:186) scala.collectionで.TraversableLike $ WithFilter.foreach(TraversableLike.scala:732) kafka.log.Log.LogSegmentFiles(Log.scala:279)at kafka.log.Log.LogSegments(Log.scala:383)at kafka.log .Log。(Log.scala:186)at kafka.log.Log $ .apply(Log.scala:1609)at kafka.log.LogManager $$ anonfun $ loadLogs $ 2 $$ anonfun $ 5 $$ anonfun $ apply $ 12 $$ anonfun $ apply $ 1.apply $ mcV $ sp(LogManager.scala:172) at kafka.utils.CoreUtils $$ anon $ 1.run(CoreUtils.scala:57)at java.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266)at java.util.concurrent.ThreadPoolExecutor $ Worker.run(ThreadPoolExecutor.java:624)java.lang.Thread.run(スレッドで でjava.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) 。 java:748)[2017-11-30 21:26:24,606] WARN要求が破損したために破損したインデックスファイルが見つかりました:壊れた インデックスが見つかりました。インデックスファイル (C:\ Source \ Kafka \ kafka_2。 11-0.11.0.1 \ SourceKafkakafka_2.11-0.11.0.1 \ MTETestTopic-0 \ 00000000000000000000。インデックス) のサイズはゼロではありませんが、最後のオフセットは0で、 ベースオフセット0より大きくはありません。削除する C:\ Source \ Kafka \ kafka_2.11-0.11.0.1 \ SourceKafkakafka_2.11-0.11.0.1 \ MTETestTopic-0 \ 00000000000000000000.timeindex、 C:\ Source \ Kafka \ kafka_2.11-0.11.0.1 \ SourceKafkakafka_2 .11-0.11.0.1 \ MTETestTopic-0 \ 00000000000000000000.index、 および C:\ Source \ Kafka \ kafka_2.11-0.11.0.1 \ SourceKafkakafka_2.11-0.11.0.1 \ MTETestTopic-0 \ 00000000000000000000.txnindex および(kafka.log.Log)[2017-11-30 21:26:24,609]情報 [Kafka Server 0]、シャットダウン(kafka.server.KafkaServer)[2017-11-30 21: 26:24,613] INFO ZkClientイベントスレッドを終了します。警告: が見つかりました。インデックスファイル (C:\ Source \ Kafka \ Zip) kafka_2.11-0.11.0.1 \ SourceKafkakafka_2.11-0.11.0.1__consumer_offsets-0 \ 00000000000000000000.index) のサイズはゼロではありませんが、最後のオフセットは0で、 ベースオフセット0より大きくはありません。}。 C:\ Source \ Kafka \ kafka_2.11-0.11.0.1 \ SourceKafkakafka_2.11-0.11.0.1__consumer_offsets-0 \ 00000000000000000000.timeindex、 C:\ Source \ Kafka \ kafka_2.11-0.11.0.1 \ SourceKafkakafka_2。 11-0.11.0.1__consumer_offsets-0 \ 00000000000000000000.index、 と C:\ソース\カフカ\ kafka_2.11-0.11.0.1 \ SourceKafkakafka_2.11-0.11.0.1__consumer_offsets-0 \ 00000000000000000000.txnindex とインデックスを再構築します。 ..(kafka.log.Log)[2017-11-30 21:26:24,616]情報 セッション:0x1600d98747a0001閉鎖(org.apache.zookeeper.ZooKeeper) [2017-11-30 21:26:24,623]情報EventThreadはシャットダウンセッション: 0x1600d98747a0001(org.apache.zookeeper.ClientCnxn)[2017-11-30 21:26:24,625]情報[Kafka Server 0]、シャットダウン完了 (kafka.server.KafkaServer)[2017-11-30 21:26:24,626]致命的な終了 カフカ。 (kafka.server.KafkaServerStartable)[2017年11月30日21:26:24628] INFO [カフカサーバ0]、Iは、設定を変更しようとしている

を(kafka.server.KafkaServer)をシャットダウン - 削除.topic.enableをkafka server.propertiesの同様の質問hereの提案に従ってtrueに設定しましたが、それは役に立ちませんでした。また、トピックやその関連ファイルを手動で開かなかった。誰でもこの問題に直面しました。助けてください。この問題はWindows固有の問題ですか?

Kafkaによって作成されたトピックと関連する物理フォルダを削除すると正常に読み込まれますが、正しくはありません。正しい解決策を提案してください。おかげさまで

+0

こんにちは@LearnAndShare。また、WIndows環境でKafka 1.0.0でこの問題が発生しました。更新情報はありますか?カフカのサポートに関するバグレポートを書きましたか? – gvdm

答えて

0

エラーメッセージによると:

The process cannot access the file because it is being used by another process. 

あなたはすでに、このファイルを使用して別のプロセスを持っており、それは開始からカフカを妨げています。プロセスを見つける方法については、https://serverfault.com/questions/1966/how-do-you-find-what-process-is-holding-a-file-open-in-windowsを参照してください。

+0

ありがとう、カフカが必要とするトピックファイルを保持しているプロセスを見つけることは役に立ちますが、この問題はもう一人の同僚によって報告されているので、おそらくKafka + Windows環境のバグでしょう。 kafka stopコマンドファイルを呼び出すと、この問題は発生しません。そうしないと、実稼動環境では使用できません。 – LearnAndShare

+1

KafkaはWindowsにいくつかの問題があることが知られています。http://kafka.apache.org/documentation/#os –

関連する問題