別のバイトコードでレイジーのバイトコードを分割

Question

レイジーバイトコードを別のバイトコード（例えば"\r\n"）に分割するにはどうすればよいですか？私は、次のような機能を探しています：

BSL.ByteString -> BSL.ByteString -> [BSL.ByteString] 

は、私は約breakSubstringを知っているが、その機能は、厳密なバイト文字列でのみ使用可能です。私もこのquestionを見ましたが、解決策は厳密なバイトテストを使用しています。

Answer 1

私自身の質問に答える：を作成しました。これはbreakSubstringからData.ByteString.Lazy（厳密なバージョンから適合）です。

プル要求がマージされるまで、次のコードを使用することができる。

{-# LANGUAGE BangPatterns #-} 

module Lib (breakSubstring) where 

import Data.Bits (finiteBitSize, shiftL, (.|.), (.&.)) 
import Data.Word (Word32) 
import Prelude 

import qualified Data.ByteString.Lazy as BSL 


breakSubstring 
    :: BSL.ByteString 
    -> BSL.ByteString 
    -> (BSL.ByteString, BSL.ByteString) 
breakSubstring pat = 
    case lp of 
    0 -> \src -> (BSL.empty, src) 
    1 -> BSL.break (== BSL.head pat) 
    _ -> if lp * 8 <= fromIntegral (finiteBitSize (0 :: Word)) 
      then shift 
      else karpRabin 
    where 
    lp = BSL.length pat 
    karpRabin :: BSL.ByteString -> (BSL.ByteString, BSL.ByteString) 
    karpRabin src 
     | BSL.length src < lp = (src, BSL.empty) 
     | otherwise = search (rollingHash $ BSL.take lp src) lp 
     where 
     k   = 2891336453 :: Word32 
     rollingHash = BSL.foldl' (\h b -> h * k + fromIntegral b) 0 
     hp   = rollingHash pat 
     m   = k^lp 
     get = fromIntegral . BSL.index src 
     search !hs !i 
      | hp == hs && pat == BSL.take lp b = u 
      | BSL.length src <= i    = (src, BSL.empty) 
      | otherwise      = search hs' (i + 1) 
      where 
      u@(_, b) = BSL.splitAt (i - lp) src 
      hs' = hs * k + 
        get i - 
        m * get (i - lp) 
    {-# INLINE karpRabin #-} 

    shift :: BSL.ByteString -> (BSL.ByteString, BSL.ByteString) 
    shift !src 
     | BSL.length src < lp = (src, BSL.empty) 
     | otherwise   = search (intoWord $ BSL.take lp src) lp 
     where 
     intoWord :: BSL.ByteString -> Word 
     intoWord = BSL.foldl' (\w b -> (w `shiftL` 8) .|. fromIntegral b) 0 
     wp = intoWord pat 
     mask = (1 `shiftL` fromIntegral (8 * lp)) - 1 
     search !w !i 
      | w == wp    = BSL.splitAt (i - lp) src 
      | BSL.length src <= i = (src, BSL.empty) 
      | otherwise   = search w' (i + 1) 
      where 
      b = fromIntegral (BSL.index src i) 
      w' = mask .&. ((w `shiftL` 8) .|. b) 
    {-# INLINE shift #-}