Elixir/ErlangのYeccパーサーでマップする項目を追加する

Question

ElixirのLeex/Yeccで特定のログファイルを解析しようとしています。数時間後、私は最も簡単なシナリオを手に入れました。しかし、私は次のステップに進んでいきたいと思いますが、どうやってそれを行うのか分かりません。

まず、ここでのログ形式の例です：

[!] plugin error detected 
| check the version of the plugin 

私の簡単な試みは、最初の行のみとあったが、それらの複数のエントリ、など：

[!] plugin error detected 
[!] plugin error 2 detected 
[!] plugin error 3 detected 

働いたことテキストとログラインタイプ（警告）を含むすばらしい地図を私にくれました：

iex(20)> LogParser.parse("[!] a big warning\n[!] another warning") 
[%{text: "a big warning", type: :warning}, 
%{text: "another warning", type: :warning}] 

これは完璧です。しかし、上記のように、ログ行は次の行に続き、パイプ文字は|と表示されます。私のレクサーはパイプ文字を持っていて、パーサはそれを理解することができますが、私のマップのtext値に次の行を追加します。今のところ、マップ内の文字列として追加されます。だから、代わりに：

[%{text: "a big warning ", type: :warning}, " continues on next line"] 

私が必要：

[%{text: "a big warning continues on next line", type: :warning}] 

私は、ネット上の例を見て、それらのほとんどは、このような終了タグや閉じ括弧など本当に明確な「終了」トークンを、持っています、そしてそれでも、最終的なASTが正しいようにプロパティを追加する方法は私には分かりません。完全のために

は、ここに私のレクサーです：

Definitions. 

Char   = [a-zA-Z0-9\.\s\,\[\]] 
Word   = [^\t\s\.#"=]+ 
Space   = [\s\t] 
New_Line  = [\n] 
%New_Line  = \n|\r\n|\r 
Type_Regular = \[\s\]\s 
Type_Warning = \[!\]\s 
Pipe   = \| 

Rules. 

{Type_Regular} : {token, {type_regular, TokenLine}}. 
{Type_Warning} : {token, {type_warning, TokenLine}}. 
{Char}   : {token, {char, TokenLine, TokenChars}}. 
{Space}   : skip_token. 
{Pipe}   : {token, {pipe, TokenLine}}. 
{New_Line}  : skip_token. 

Erlang code. 

そして、私のパーサー：

Nonterminals lines line line_content chars. 
Terminals type_regular type_warning char pipe. 
Rootsymbol lines. 

lines -> line lines : ['$1'|['$2']]. 
lines -> line : '$1'. 

line -> pipe line_content : '$2'. 
line -> type_regular line_content : #{type => regular, text => '$2'}. 
line -> type_warning line_content : #{type => warning, text => '$2'}. 

line_content -> chars : '$1'. 
line_content -> pipe chars : '$1'. 

chars -> char chars : unicode:characters_to_binary([get_value('$1')] ++ '$2'). 
chars -> char : unicode:characters_to_binary([get_value('$1')]). 

Erlang code. 

get_value({_, _, Value}) -> Value. 

あなたも、ここまでなった場合は、はすでにありがとうございました！もし誰かが助けてくれたら、もっと大きな感謝を！

Answer 1

パイプで区切られた複数の行を処理し、規則line -> pipe line_content : '$2'.を削除するために、line_contentルールを追加することをお勧めします。

はまた lines句で '$2'周りの不要な []があり、シングルライン句は、前の句の戻り値と一致するようにリストを返す必要がありますので、あなたが不適切なリストで終わるません。これら四つの変更、

-lines -> line lines : ['$1'|['$2']]. 
+lines -> line lines : ['$1'|'$2']. 
-lines -> line : '$1'. 
+lines -> line : ['$1']. 

-line -> pipe line_content : '$2'. 
line -> type_regular line_content : #{type => regular, text => '$2'}. 
line -> type_warning line_content : #{type => warning, text => '$2'}. 

line_content -> chars : '$1'. 
-line_content -> pipe chars : '$1'. 
+line_content -> line_content pipe chars : <<'$1'/binary, '$3'/binary>>. 

で

私はちょうど罰金複数行のテキストを解析することができます

Belino.parse("[!] Look at the error") 
Belino.parse("[!] plugin error detected 
| check the version of the plugin") 
Belino.parse("[!] a 
| warning 
[ ] a 
| regular 
[ ] another 
| regular 
[!] and another 
| warning") 

出力：

[%{text: "Look at the error", type: :warning}] 
[%{text: "plugin error detected check the version of the plugin", 
    type: :warning}] 
[%{text: "a warning ", type: :warning}, %{text: "a regular ", type: :regular}, 
%{text: "another regular ", type: :regular}, 
%{text: "and another warning", type: :warning}]