PHPでのUTF8文字列のテストは、これは信頼できる方法ですか？

Question

私は別の答えに便利な機能を見つけました。誰かがそれが何をしているのか、それが信頼できるものかを私に説明することができるのだろうかと思います。私はmb_detect_encoding（）を使用していましたが、Linux OS上のISO8859-1ファイルから読み込むときには書き込まれませんでした。

この機能は、私がテストしたすべてのケースで機能するようです。ここで

は疑問である：ここではGet file encoding

は関数である。

function isUTF8($string){ 
    return preg_match('%(?: 
    [\xC2-\xDF][\x80-\xBF]        # non-overlong 2-byte 
    |\xE0[\xA0-\xBF][\x80-\xBF]               # excluding overlongs 
    |[\xE1-\xEC\xEE\xEF][\x80-\xBF]{2}      # straight 3-byte 
    |\xED[\x80-\x9F][\x80-\xBF]               # excluding surrogates 
    |\xF0[\x90-\xBF][\x80-\xBF]{2}    # planes 1-3 
    |[\xF1-\xF3][\x80-\xBF]{3}                  # planes 4-15 
    |\xF4[\x80-\x8F][\x80-\xBF]{2}    # plane 16 
   )+%xs', $string); 
} 

これはUTF8文字列を検出するための信頼できる方法はありますか？ 正確には何をしていますか？ より堅牢にすることはできますか？

Answer 1

がの文字列のエンコードを知っていない場合、ある程度の精度でエンコードを推測することは不可能です。そのため、mb_detect_encodingはうまくいきません。文字列のエンコーディングが何であるかを知っていれば、が入っていれば、それがmb_check_encodingを使ってそのエンコーディング内の有効な文字列であるかどうかを調べることができます。それは多かれ少なかれあなたの正規表現は、おそらくもう少し包括的に何をしますか？ 「このバイト列はUTF-8で有効ですか？」という質問に答えることができます。は、はいかいいえが明確です。実際にはという文字列がそのエンコーディングでコード化されたであることを意味するとは限りません。たとえば、すべての8ビットを使用するシングルバイトエンコーディングと、8ビットを使用する他のシングルバイトエンコーディングを区別することは不可能です。しかしUTF-8 はと区別できるはずですが、有効なUTF-8バイトシーケンスであるLatin-1エンコードされた文字列などを生成することもできます。

要するに、確かに知る方法はありません。 UTF-8が必要な場合は、受信したバイトシーケンスがUTF-8で有効かどうかを確認してから、文字列をUTF-8として安全に処理できます。それ以外にはあなたができることはほとんどありません。

Answer 2

文字列に有効なUTF-8コードポイントに対応するバイトシーケンスがあるかどうかをチェックするだけです。ただし、UTF-8のASCII互換サブセットであるシーケンス0x00-0x7Fにフラグを立てません。

編集：ちなみに、mb_detect_encoding()が「正しく動作しませんでした」という理由は、Latin-1でエンコードされたファイルがUTF-8で有効なASCII互換のサブセットのみを使用していたためですと推測しています。 mb_detect_encoding()がUTF-8としてフラグを立てることは当然のことであり、データが平易なASCIIの場合はUTF-8がLatin-1、ASCII、または無数の拡張ASCIIエンコーディング

Answer 3

文字列の一部が正式に有効なUTF-8シーケンスであるかどうかを検出し、1つのコード単位のエンコード文字（ASCIIのコードポイントを表す）は無視します。その関数がtrueを返すには、ASCII以外のUTF-8エンコード文字のように見える文字が1つあれば十分です。

Answer 4

これはあなたの質問に対する回答ではないかもしれませんが（おそらくそれは下記のアップデートを参照してください）、あなたの問題に対する答えかもしれません。彼らはすでにLatin1の、WIN1252、またはUTF8でエンコードされている場合はUTF8に文字列を変換するためのメソッドを持っている私のEncodingクラスに関係なく、チェックアウト、またはそれらの組み合わせ：

Encoding::toUTF8($text_or_array); 
Encoding::toWin1252($text_or_array); 
Encoding::toISO8859($text_or_array); 

// fixes UTF8 strings converted to UTF8 repeatedly: 
// "FÃÂédÃÂération" to "Fédération" 
Encoding::fixUTF8($text_or_array); 

https://stackoverflow.com/a/3479832/290221

機能の実行にバイトごとに変換が必要かどうかを調べてください。

更新：

はそれについてもう少し考えると、これは実際にあなたの質問への答えのようになります。

require_once('Encoding.php'); 

function validUTF8($string){ 
    return Encoding::toUTF8($string) == $string; 
} 

そしてここでは、Encodingクラスです： https://github.com/neitanod/forceutf8

Answer 5

基本的には、いいえ。

• 任意 UTF8文字列が有効な8ビットエンコーディング列（それが意味不明を生成する場合であっても）です。一方
• 、拡張（128+）文字で最も 8ビットのエンコードされた文字列は、他のランダムなバイトシーケンスとして、彼らはことが起こるかもしれません、ない有効UTF8ですが、。
• また、ASCIIテキストのはの有効なUTF8なので、mb_detect_encodingというのは実際そうです。また、ASCIIテキストをUTF8として使用しても問題はありません。それがUTF8が最初に働く理由です。

私の知る限り理解し、あなたが供給機能は、このように、この関数ははるかに悪化失火かもしれないが、それはUTF8と同様のことが起こるいくつかの配列を含むだけのことを、文字列の妥当性をチェックしません。 。この関数とmb_detect_encodingの両方を厳密なモードで使用し、お互いの誤検出を相殺することを望むかもしれません。

テキストが非ラテンアルファベットで書かれている場合、マルチバイトエンコーディングを検出する「スマートな」方法は、同じビットで始まる同じ大きさのバイトチャンクのシーケンスを探すことです。たとえば、ロシア語の単語「привет」は次のようになります。

11010000 10111111 
11010001 10000000 
11010000 10111000 
11010000 10110010 
11010000 10110101 
11010001 10000010 

これは、しかし、ラテン語ベースのアルファベット（と、おそらく、中国）のために動作しません。

Answer 6

問題の機能（ユーザーpilifがリンクされ、質問に掲示1）はPHPマニュアルにmb_detect_encoding()ページthis commentから取られているように見えます：著者の状態として

、機能があるだけで「文字列に UTF-8文字が含まれているかどうかをチェックする」ことを意味し、「UTF-8範囲の非ASCIIマルチバイトシーケンス」のみを検索します。したがって、文字列に英文のような単純なASCII文字が含まれている場合は、関数はfalse（実際にはゼロ）を返します。これはおそらくあなたが望むものではありません。

彼の機能は、実際には文字列がUTF-8であるかどうかを確認するための同じページのthis previous commentの別の機能に基づいており、W3Cの誰かによって作成されたthis regular expressionに基づいていました。 // PHP： `mb_detect_encoding`（HTTPのようなものを使用しないのはなぜ

// Returns true if $string is valid UTF-8 and false otherwise. 
function is_utf8($string) { 

    // From http://w3.org/International/questions/qa-forms-utf-8.html 
    return preg_match('%^(?: 
      [\x09\x0A\x0D\x20-\x7E]   # ASCII 
     | [\xC2-\xDF][\x80-\xBF]    # non-overlong 2-byte 
     | \xE0[\xA0-\xBF][\x80-\xBF]  # excluding overlongs 
     | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte 
     | \xED[\x80-\x9F][\x80-\xBF]  # excluding surrogates 
     | \xF0[\x90-\xBF][\x80-\xBF]{2}  # planes 1-3 
     | [\xF1-\xF3][\x80-\xBF]{3}   # planes 4-15 
     | \xF4[\x80-\x8F][\x80-\xBF]{2}  # plane 16 
    )*$%xs', $string); 

} // function is_utf8