出力でフィルタリングされるべきUnicode文字のリスト？

Question

最近、私はブラウザのサポートでデータの品質が原因でバグを起こしました。必要がない限り、ダブルサイズなしで文字列エスケープを適用するための安全なルールを探しています。

Unicodeデータベースで完全に有効な文字であるUTF-8バイトシーケンス "E2-80-A8"（U + 2028、ラインセパレータ）。ただし、そのシーケンスは行区切り文字を表します（「はい」、「0A」以外）。

ひどく、多くのブラウザ（Chrome、Firefox、Safariを含む、私は他人をテストしませんでした）は、そのUnicode文字を含む文字列を持つJSONPコールバックの処理に失敗しました。 JSONPは私が何もコントロールしていない非Unicode HTMLに含まれていました。

ブラウザは、デバッグツールとすべてのテキストエディタから有効と思われるこのようなJavaScriptで、INVALID CODE /構文エラーを単に報告しました。私が推測するところは、 "E2-80-A8"をBIG-5に変換してJS構文を破ってしまうかもしれないということです。

上記は、予期せぬことにシステムを壊すUnicodeの例です。私が知る限り、いくつかのハッカーは、RTLと他の制御文字を使うことができます。また、Unicode仕様では、 "引用符"、 "スペース"、 "シンボル"、 "コントロール"が多数あります。

QUESTION：

は、我々は我々のアプリケーションでそれらを効果的たくない場合があります隠された機能（とバグ）について知っているすべてのプログラマのためのUnicode文字のリストがあります。 （たとえば、WindowsではfilenameでRTLを無効にする）。

EDIT：

私はJSONもJavaScriptを求めていません。私は、すべてのプログラムでUnicodeのハンドリングの一般的なベストプラクティスを求めています。文字列がそれらに改行を持つことができないので

Answer 1

文字プロパティのデータベースがありますそしてそれを記述する報告書、UNICODE CHARACTER DATABASEは、ブラウザがどのようにコードポイントを扱うべきかを知っています。私はその言葉が大好きです。最も安全なものはホワイトリストになるでしょうが、おそらくL | M | N | S、レター、マーク、または数字またはシンボルで行けます。 JSONは、**何も**フィルターれてはならないUnicodeの一般的なシリアル化形式であるか、相互運用壊すので

は、ライブラリ

Answer 2

それはJavaScriptを壊す：

var myString = "
"; 

//Syntax Error 

：

var myString = " 

"; 

//SyntaxError: Unexpected token ILLEGAL 

今、UTF-8シーケンス"E2-80-A8"はJavaScriptで改行するために同様に処理されたUnicodeのコードポイントU+2028にデコードします

書くこと、しかし安全です

var myString = "\u2028"; 
//you can now log myString in console and get real representation of this character 

これは正しくエンコードされたJSONが持つものです。安全でない文字のブラックリストを保持するのではなく、JSONを正しくエンコードする方法を検討します。 （これはU + 2028とU + 2029 AFAIKです）。 PHPで

：

echo json_encode(chr(0xe2). chr(0x80).chr(0xA8)); 
//"\u2028" 

Answer 3

A-Z、Z-及び0-9は、一般的に安全です。これらの62文字以外では、システムによっては問題が発生します。誰もあなたに与えることができる他の答えはありません。

たとえば、ドメイン名が挙げられます。 Unicodeドメイン名を扱う唯一の方法は、RFC 3454とRFC 5890-5893に従い、その方法でデータを処理することです。ほとんどのUnixファイルシステムのファイル名は、/または\ 0を含まない任意のバイト列です。 Unixのファイル名を機能的にUnicode文字列として扱うことは、何も壊すことなく、それ自体の問題です。 Windowsファイル名はA-Zセーフではないことに注意してください。 NULやPRNのようなものは予約された名前です。それぞれのドメインは独自の小さな問題や癖に直面しており、簡単な要約はどこにも充分ありません。

Answer 4

ユニコードチャートを見てください。印刷できない文字のリストがあります。これらは潜在的なトラブルメーカーになるものです。あなたの友人U + 2028にはたくさんの友人がいます：http://www.unicode.org/charts/PDF/U2000.pdfそしてそれは2000年の範囲だけではありません。

あなたはなど、（U + 2028のような9月の文字が\ nまたは適切にエスケープになってきて）それらすべてをNUKE、または異なるカテゴリにそれらを分離可能性のいずれか

HTH