ファイル内にない文字を読み取るストリーム

Question

ファイルを読み込むと、最初に読み込まれているファイルが3つあります。

はそれらは：「私»¿」

ファイルが含まれています：

<root> 
    <tag> 
    <anothertag>Text</anothertag> 
    </tag> 
    <tag> 
    <anothertag>Text</anothertag> 
    </tag> 
</root> 

マイコード：

//scanner.h 
enum TOKEN_TYPE { 
    OPEN, CLOSE, TEXT 
}; 

struct Token { 
    int type; 
    std::string value; 
}; 

class Scanner { 
public: 
    Scanner(std::string path); 

    void scan(std::string path); 

private: 
    std::vector<Token> tokens; 

    Token readToken(std::ifstream& in); 
}; 

std::string read_to(std::istream& in, char delim); 

//scanner.cpp 
Scanner::Scanner(std::string path) { 
    scan(path); 
} 

void Scanner::scan(std::string path) { 
    std::ifstream in(path, std::ios_base::beg); 

    if(!in.is_open()) { 
     return; 
    } 

    if(!tokens.empty()) { 
     tokens.erase(tokens.begin(), tokens.end()); 
    } 

    std::ofstream out("output.txt"); 
    while(!in.eof()) { 
     tokens.push_back(readToken(in)); 

     if(tokens.back().value.empty()) { 
      tokens.pop_back(); 
      continue; 
     } 

     out << tokens.size() << "\t" << tokens.back().value << "\t" << tokens.back().value.length() << std::endl; 
    } 

    in.close(); 

    out << "\n"; 
    for(int i = 0; i < tokens.size(); ++i) { 
     if(tokens[i].type == TOKEN_TYPE::TEXT) { 
      out << tokens[i].value << std::endl; 
     } 
    } 

    out.close(); 
} 

Token Scanner::readToken(std::ifstream& in) { 
    Token token; 

    char c = in.get(); 
    while(c == '\n' || c == '\t' || c == ' ') { 
     c = in.get(); 
    } 

    if(c == '<') { 
     c = in.get(); 

     if(c == '/') { 
      token.type = TOKEN_TYPE::CLOSE; 
      token.value = read_to(in, '>'); 
     } else { 
      in.unget(); 

      token.type = TOKEN_TYPE::OPEN; 
      token.value = read_to(in, '>'); 
     } 
    } else { 
     in.unget(); 

     token.type = TOKEN_TYPE::TEXT; 
     token.value = read_to(in, '<'); 

     in.unget(); 
    } 

    return token; 
} 

inline std::string read_to(std::istream& in, char delim) { 
    std::stringstream str; 

    char c; 
    while((c = in.get()) != delim && in.good()) { 
     str << c; 
    } 

    return str.str(); 
} 


int main(int argc, char** argv) { 
    Scanner scanner("test.xml"); 
    return 0; 
} 

はなぜストリームが実際に存在しないこれらの文字を読んでいます？

Answer 1

""はUTF-8 BOMです。手動でスキップするか、ファイルから削除する必要があります（UTF-8にはBOMは必要ありません）。