多くの国際言語に使用するエンコーディング

Question

私は少しウェブサイトを設定しており、国際化したいと考えています。すべてのコンテンツは、異なる言語の外部XMLに保存され、javascriptを介してhtmlに解析されます。

ドイツ語のウムラウト、ロシア語、中国語、および日本語の記号があり、アラビア語やペルシア語のような右から左の言語もあります。

どのような方法や解決策がありますか？すべての言語を適切に表示できる「国際的なエンコーディング」はありますか？または、あなたが提案する他の解決策がありますか？

ありがとうございます！

Answer 1

多言語サイトの通常の（推奨される）解決策は、UTF-8を使用することです。

1. Unicodeはバージョン管理の標準であり、異なるJavascriptの実装が異なるUnicodeのバージョンをサポートすることがあります。それは、警告のカップルとUnicodeのコードポイントが割り当てられているすべての文字を扱うことができます。

2. テキストにUnicode Basic Multilingual Plane（BMP）以外の文字が含まれている場合は、Unicode対応の方法でテキスト処理（Javascriptで）する必要があります。たとえば、Javascript Stringクラスを使用する場合は、テキスト操作を行う際にサロゲートペアを適切に考慮する必要があります。 （JavascriptをStringが実際にUTF-16としてエンコードされます。それはあなたがUnicodeのコードポイントとして、それを操作するための方法、方法は/そのようsubstringとlength使用codeunitではなく、コードポイントのインデックスとして属性を持っている。あなたがいる場合

注意しないと、サロゲートペアの下位部分と上位部分の間で文字列を分割することができますが、結果は正しく表示されないことがあります。これは高位面のコードポイントにのみ影響しますが、新しい絵文字コードポイントが含まれます。 ）

Answer 2

すべてのUnicode変換（UTF-8、UTF-16、UTF-32）はすべてのUnicode文字をエンコードできます。サイズに基づいて使用したいものを選択します：テキストのほとんどが西洋のスクリプトであれば、大部分の文字には1バイトしか使用されませんが、必要に応じて2、3、または4が使用されます。遠くのスクリプトをエンコードする場合は、おそらく他の変換の1つが必要です。

基本的なことは、すべてUnicodeだということです。変換は同じ文字を表現する異なる方法にすぎません。

スタックオーバーフローの共同創設者は、このトピックに関する良い記事だった：、関係なく、あなたの文書に使用するエンコード何のThe Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)

---

を使用すると、JavaScriptでこれらの文字列の処理をやっている場合ことに注意してください、JavaScript strings are UTF-16（ただし、無効な値は許容されます）。 （たとえドキュメントがUTF-8またはUTF-32であっても）これは、例えば、それらのemojisの人々は、JavaScriptの2つの「文字」のように近頃興奮していることを意味します。 -16を表す。同様に、例えば：

console.log("".length); // 2

だから、UTF-16の二つの言葉でエンコードされた文字の両半分を分割しないように注意する必要があります。