トークンとファイルストリーム

Question

私は、ファイルストリームで動作するプログラムのソースコード（C++で書かれています）を研究しています。しかし今はいつも、tokensと呼ばれるものがあります。あなたは私に説明してください。どのようなトークンがあり、なぜ有用なのですか？ありがとうございました。

Answer 1

ストリームは、時間の経過とともに利用可能になるデータ要素のシーケンスを指します。ストリーム内のデータ要素は、文字、文字列、特殊目的のデータ構造など、あらゆる種類のものであってもよい。テキストファイルは、文字の流れとして単純に解釈することができる。

プログラミング言語の文脈では、というトークンのトークンは通常、文字ストリームからの1つ以上の関連文字のシーケンスを参照します。トークンは文字ストリームの上に抽象レベルを提供し、後で処理するためにストリームでグループ化されることがよくあります。

プログラミング言語のコンパイラで通常の処理シーケンスは、次に、パーサに渡されるトークンのストリームに文字のストリームを変換字句アナライザ始まります。トークンの典型的な表現は、タイプインジケータとトークンの内容とからなる。ここで

は一例です：10個のトークンのストリームに

class MyClass { 
public: 
    string name; 
}; 

レクサー・アナライザ・グループこのプログラム：C++プログラムのこのフラグメントを検討

'class' (keyword) 
'MyClass' (identifier) 
'{' (opening brace) 
'public' (keyword) 
':' (colon) 
'string' (identifier) 
'name' (identifier) 
';' (semicolon) 
'}' (closing brace) 
';' (semicolon) 

Answer 2

トークンは「プレースホルダ」と考えることができます。トークンは特定のエンティティ（文字列）を表し、通常は2つの等価物間の何らかの仲介ステップです。たとえば、トークンは、特定の言語の構文を表すパーサーでよく使用されます。