Unicode UTF-8ファイルをwstringに読み込む

Question

WindowsプラットフォームでUnicode（UTF-8）ファイルをwstringに読み込むにはどうすればよいですか？

Answer 1

この質問はConfused about C++'s std::wstring, UTF-16, UTF-8 and displaying strings in a windows GUIで解決されました。まとめると、wstringはUTF-16の前身であるUCS-2標準に基づいています。これは厳密に2バイトの標準です。私はこれがアラビア語をカバーすると信じている。

Answer 2

ここでは、Windowsのみのプラットフォーム固有の機能です：あなたはそれを使用したくない場合がありますので、ファイル全体が、メモリにロードされ

std::wstring mytext = LoadUtf8FileToString(L"C:\\MyUtf8File.txt"); 

注：そうのような

size_t GetSizeOfFile(const std::wstring& path) 
{ 
    struct _stat fileinfo; 
    _wstat(path.c_str(), &fileinfo); 
    return fileinfo.st_size; 
} 

std::wstring LoadUtf8FileToString(const std::wstring& filename) 
{ 
    std::wstring buffer;   // stores file contents 
    FILE* f = _wfopen(filename.c_str(), L"rtS, ccs=UTF-8"); 

    // Failed to open file 
    if (f == NULL) 
    { 
     // ...handle some error... 
     return buffer; 
    } 

    size_t filesize = GetSizeOfFile(filename); 

    // Read entire file contents in to memory 
    if (filesize > 0) 
    { 
     buffer.resize(filesize); 
     size_t wchars_read = fread(&(buffer.front()), sizeof(wchar_t), filesize, f); 
     buffer.resize(wchars_read); 
     buffer.shrink_to_fit(); 
    } 

    fclose(f); 

    return buffer; 
} 

使用して非常に大きなファイルの場合

Answer 3

@Hans Passantのコメントによれば、最も簡単な方法は_wfopen_sです。モードrt, ccs=UTF-8でファイルを開きます。ここで

は少なくともVC++ 2010で動作する別の純粋なC++のソリューションです：locale::empty()を除き

#include <locale> 
#include <codecvt> 
#include <string> 
#include <fstream> 
#include <cstdlib> 

int main() { 
    const std::locale empty_locale = std::locale::empty(); 
    typedef std::codecvt_utf8<wchar_t> converter_type; 
    const converter_type* converter = new converter_type; 
    const std::locale utf8_locale = std::locale(empty_locale, converter); 
    std::wifstream stream(L"test.txt"); 
    stream.imbue(utf8_locale); 
    std::wstring line; 
    std::getline(stream, line); 
    std::system("pause"); 
} 

（ここでlocale::global()が同様に働くかもしれない）とbasic_ifstreamコンストラクタのwchar_t*過負荷、これでもかなりする必要があります標準に準拠しています（「標準」はC++ 0xを意味します）。 C++ 11のサポートにより

Answer 4

、あなたは両方、UTF-8のファイルを読み書きするために使用することができUTF-8でエンコードされたバイト文字列とUCS2またはUCS4文字列と間の変換をカプセル化したstd::codecvt_utf8 facetを使用することができますテキストとバイナリです。あなたは通常、総称して、特定のローカライズされた環境を定義するファセットのセットとしてカルチャ固有の情報をカプセル化しlocale objectを作成facet使用するためには

。あなたは、ロケールオブジェクトを持っていたら、あなたはそれをあなたのストリームバッファをimbueことができます。このように使用することができます

#include <sstream> 
#include <fstream> 
#include <codecvt> 

std::wstring readFile(const char* filename) 
{ 
    std::wifstream wif(filename); 
    wif.imbue(std::locale(std::locale::empty(), new std::codecvt_utf8<wchar_t>)); 
    std::wstringstream wss; 
    wss << wif.rdbuf(); 
    return wss.str(); 
} 

：

std::wstring wstr = readFile("a.txt"); 

あなたは、文字列ストリームを使用して作業する前に別の方法としては、the global C++ localeを設定できますは、std::localeデフォルトコンストラクタへの今後のすべての呼び出しで、グローバルC++ロケールのコピーを返します（この場合、ストリームバッファを明示的に埋め込む必要はありません）。

std::locale::global(std::locale(std::locale::empty(), new std::codecvt_utf8<wchar_t>)); 

Answer 5

これは少し生ではありませんが、ファイルを普通の古いバイトとして読み取ってから、バイトバッファをwchar_t *にキャストする方法はありますか？

ような何か： "ユニコード" と

#include <iostream> 
#include <fstream> 
std::wstring ReadFileIntoWstring(const std::wstring& filepath) 
{ 
    std::wstring wstr; 
    std::ifstream file (filepath.c_str(), std::ios::in|std::ios::binary|std::ios::ate); 
    size_t size = (size_t)file.tellg(); 
    file.seekg (0, std::ios::beg); 
    char* buffer = new char [size]; 
    file.read (buffer, size); 
    wstr = (wchar_t*)buffer; 
    file.close(); 
    delete[] buffer; 
    return wstr; 
} 

Answer 6

#include <iostream> 
#include <fstream> 
#include <string> 
#include <locale> 
#include <cstdlib> 

int main() 
{ 
    std::wifstream wif("filename.txt"); 
    wif.imbue(std::locale("zh_CN.UTF-8")); 

    std::wcout.imbue(std::locale("zh_CN.UTF-8")); 
    std::wcout << wif.rdbuf(); 
}