Cでレクサーを構築する

Question

Cでレクサーを作成したいと思いますが、dragon bookに従っています。私は状態遷移を理解できますが、それらを実装する方法は？

良い本がありますか？

文字列が受け入れ可能かどうかを判断できるように、文字列をいくつかの状態で解析する必要があるという事実！

Answer 1

やあ、

あなたはコンパイラのドラゴンブックを意味すると仮定すると、デザイン、私は周りのコンパイルツールthis pageを見てお勧めしたいと思います。

ページ自体は非常に小さいですが、レキシカルアナライザーのさまざまな優れたリソースへのリンクがあります。

HTH

歓声、

Answer 2

単一の状態変数を使用して簡単な状態遷移を実装できます。たとえば、状態start-> part1-> part2-> endを循環させたい場合、enumを使用して現在の状態を追跡し、各ステートで実行するコードにswitchステートメントを使用します。いくつかの変数に依存して、より複雑な状態遷移については

enum state { start=1, part1, part2, end} mystate; 

// ... 
mystate = start; 
do { 
    switch (mystate) { 
    case start: 
     // ... 
    case part1: 
     // ... 
    case part2: 
     // ... 
     if (part2_end_condition) mystate = end; // state++ will also work 
     // Note you could also set the state back to part1 on some condition here 
     // which creates a loop 
     break; 
    } 
} while (mystate != end); 

、あなたはこのようなテーブル/配列を使用する必要があります。

var1 var2 var_end next_state 
0  0  0   state1 
0  1  0   state2 
1  0  0   state3 
1  1  0   state4 
-1  -1  1   state_end // -1 represents "doesn't matter" here 

Answer 3

あなたはドラゴン・ブック（S）よりも、より近代的な治療法を探しているなら：アンドリューW.アペルとマイアギンズバーグ、現代Compiler Implementation in C、ケンブリッジ大学出版、2008。

第2章では、字句解析に焦点を当てています。字句トークン、正規表現、有限オートマトン。非決定論的有限オートマトン; Table of Contents

Answer 4

で字句解析ジェネレータ

ルックそれを行うには複数の方法があります。すべての正規表現は単純な構造化プログラムに直接対応しています。例えば、数値の表現は、この可能性：

// regular expression 
digit* [.digit*] 

を、対応するCのコードは次のようになります。

// corresponding code 
while(DIGIT(*pc)) pc++; 
if (*pc=='.'){ 
    pc++; 
    while(DIGIT(*pc)) pc++; 
} 

建物レクサーの遷移表の途中で、私の意見では、不必要に複雑、明らかに遅くなります。

Answer 5

プログラムflex（lexのクローン）があなたのためのレクサーを作成します。

レクサールールを持つ入力ファイルを指定すると、それらのルール用のレクサーの実装を含むCファイルが生成されます。

あなたは、このようにあなただけのフレックスのレクサーを使用しない場合は、あるCのレクサーを作成する方法のためのフレックスの出力を確認することができます...