1
ログにjava.lang.RuntimeException: unexpectedという複数のインスタンスを持つバッチデータフロージョブがあります。私は、これは単なるワンかもしれ信じる"java.io.IOException：INTERNAL"例外によりパイプラインが異常終了しました
java.io.IOException: INTERNAL: Detected non-monotonic keys.java.io.IOException: INTERNAL: Corruption: block checksumjava.io.IOException: INTERNAL: Corruption: bad entry in blockjava.io.IOException: DATA_LOSS: record checksum mismatch
：
は深く掘り、私はいくつかの明確な例外があった見ましたバグを外したが、私はrepoするのに適した場所を知らないこのような問題があるので、ここでは公開のために投稿しています。
ジョブIDは、これは悪いマシンのハンドリングシャッフルデータの結果である可能性があり2017-01-26_13_26_59-15900546489513181319
こんにちは、この問題の解決に役立つもう少し情報をお寄せいただければ幸いです。 jarファイルにはネイティブ/ JNIコードがロードされていますか？ このバグを確実に再現する方法はありますか？ –
こんにちはアレックスは、 'FileBasedSink.FileBasedWriter'を拡張してGZIPOutputStreamに書き出しました。私はこのバグを再現するための信頼できる方法を持っていません。私はこのパイプラインを300以上の異なるソースから実行しており、この仕事でこれらの内部エラーしか見ていません。 この失敗と他の失敗したジョブ（10未満）の類似点は、java.lang.RuntimeException：java.io.IOException：INTERNAL：書き込みが拒否されました（書き込み側IDが見つかりません）です。 – Thang
また、同じパラメータでこのジョブを再実行しただけで、この時間は成功しました。 – Thang