サロゲートペアはどのように計算されますか？

Question

ユニコードが17ビットコードポイントを使用する場合、サロゲートペアはコードポイントからどのように計算されますか？

Answer 1

Unicodeコードポイントは、0x000000から0x10FFFFの範囲のスカラー値です。つまり、17ビットではなく、21ビットの整数です。

サロゲートペアは、UTF-16形式のメカニズムです。これは、21ビットのスカラ値を1つまたは2つの16ビットコード単位として表します。

• 0x000000から0x00FFFFまでのスカラー値は、0x0000から0xFFFFまでの単一の16ビットコード単位で表されます。
• 0x00D800から0x00DFFFまでのスカラー値は、Unicodeでは文字ではないため、Unicode文字列では決して発生しません。
• 0x010000から0x10FFFFまでのスカラー値は2つの16ビットコード単位で表されます。第1のコードユニットは、0xD800-0xDBFFの範囲のコード単位として、スカラー値の上位11ビットをコード化する。 0x01〜0x10の値を4ビットでエンコードするのはちょっと難しいことです。第2のコードユニットは、0xDC00-0xDFFFの範囲のコード単位として、スカラー値の下位10ビットをコード化する。

これについては、サンプルコードとともに、Unicodeコンソーシアムのよくある質問UTF-8, UTF-16, UTF-32 & BOMで詳しく説明しています。そのFAQは、Unicode Standardのセクションを参照しています。

Answer 2

あなたが後にあるコードの場合、ここでは単一のコードポイントがそれぞれUTF-16とUTF-8でエンコードされる方法があります。

UTF-16 codeunitsへの単一のコードポイント：UTF-8 codeunitsへ

if (cp < 0x10000u) 
{ 
    *out++ = static_cast<uint16_t>(cp); 
} 
else 
{ 
    *out++ = static_cast<uint16_t>(0xd800u + (((cp - 0x10000u) >> 10) & 0x3ffu)); 
    *out++ = static_cast<uint16_t>(0xdc00u + ((cp - 0x10000u) & 0x3ffu)); 
} 

単一のコードポイント：

if (cp < 0x80u) 
{ 
    *out++ = static_cast<uint8_t>(cp); 
} 
else if (cp < 0x800u) 
{ 
    *out++ = static_cast<uint8_t>((cp >> 6) & 0x1fu | 0xc0u); 
    *out++ = static_cast<uint8_t>((cp & 0x3fu) | 0x80u); 
} 
else if (cp < 0x10000u) 
{ 
    *out++ = static_cast<uint8_t>((cp >> 12) & 0x0fu | 0xe0u); 
    *out++ = static_cast<uint8_t>(((cp >> 6) & 0x3fu) | 0x80u); 
    *out++ = static_cast<uint8_t>((cp & 0x3fu) | 0x80u); 
} 
else 
{ 
    *out++ = static_cast<uint8_t>((cp >> 18) & 0x07u | 0xf0u); 
    *out++ = static_cast<uint8_t>(((cp >> 12) & 0x3fu) | 0x80u); 
    *out++ = static_cast<uint8_t>(((cp >> 6) & 0x3fu) | 0x80u); 
    *out++ = static_cast<uint8_t>((cp & 0x3fu) | 0x80u); 
}