Iteratee I/O：ファイルサイズを事前に知る必要があります

Question

4バイトの3つのマジックナンバーで始まるバイナリファイルを解析する必要があるとします。 2つは固定ストリングです。ただし、もう1つはファイルの長さです。

上記の長さが実際の長さと一致しない場合は、理想的にはiterMagicsがエラーを返す必要があります。しかしどうですか？実際の長さを引数として渡す唯一の方法はありますか？これはiteratee-ishのやり方ですか？私にとってはそれほど増分ではありません:)

Answer 1

これは簡単に列挙型で行うことができます。最初に、3つの4バイトのマジックナンバーを読み込み、残りのものに対して内部イテレートを実行します。ファイルが長すぎる

parseMagics :: Parser() 
parseMagics = do 
    _ <- string "FOR1" 
    len <- big_endians 4 -- need to compare with actual file length 
    _ <- string "BEAM" 
    return len 

iterMagics :: Monad m => Iteratee S.ByteString m (Either String SomeResult) 
iterMagics = do 
    len <- iterParser parseMagics 
    (result, bytesConsumed) <- joinI $ takeUpTo len (enumWith iterData I.length) 
    if len == bytesConsumed 
    then return $ Right result 
    else return $ Left "Data too short" 

は、この場合、それはエラーをスローしませんが、読み取りを停止します：あなたはiterateeを使用している場合、それは多かれ少なかれ、このようなようになります。あなたはそれをかなり簡単にその状態をチェックするために変更することができます。私はEnumeratorがenumWithのアナログ機能を持っているとは思わないので、手動でバイト数をカウントする必要があるかもしれませんが、同じ原則が適用されます。

もっと実用的なアプローチは、列挙子を実行する前にファイルサイズを確認し、それをヘッダーの値と比較するだけです。 iterateeの引数としてfilesizeまたはfilepathを渡す必要があります（ただし、パーサーは必要ありません）。

import System.Posix 

iterMagics2 filepath = do 
    fsize <- liftIO . liftM fileSize $ getFileStatus filepath 
    len <- iterParser parseMagics 

Answer 2

あなたが好むかもしれない1つの解決策は、2段階の解析だけです。ここでは、ファイルのマジックセクションから長さをとり、長さ 'len'のバイトストリングを返すパーサーでファイルを列挙します。それ以外の場合は失敗します。私自身は

{-# LANGUAGE OverloadedStrings #-} 
module Main where 

import Data.Attoparsec 
import Data.Attoparsec.Enumerator 
import Data.Enumerator hiding (foldl, foldl', map, head) 
import Data.Enumerator.Binary hiding (map) 
import qualified Data.ByteString as S 
import System 

main = do 
    f:_ <- getArgs 
    eitherStat <- run (enumFile f $$ iterParser parseMagics) 
    case eitherStat of 
     Left _err -> putStrLn $ "Not a beam file: " ++ f 
     Right bs -> parse parseContents bs 

parseContents :: Parser() 
parseContents = do 
    ... 


parseMagics :: Parser ByteString 
parseMagics = do 
    _ <- string "FOR1" 
    len <- big_endians 4 
    _ <- string "BEAM" 
    rest <- take len 
    return rest 

big_endians :: Int -> Parser Int 
big_endians n = do 
    ws <- count n anyWord8 
    return $ foldl1 (\a b -> a * 256 + b) $ map fromIntegral ws 

Answer 3

見つかり一つの解：：その後、私たちはそのバイト文字列を超える定期attoparsecパーサを使用している

parseMagics :: Parser() 
parseMagics = do 
    _ <- string "FOR1" 
    len <- big_endians 4 
    _ <- string "BEAM" 
    return $ ensure len 

しかしattoparsecは最近ensureを削除しました。私はbitbucketでattoparsecの著者にバグレポートを提出しました。