PythonでUnicode文字列に中国語/日本語文字が含まれているかどうかを知る方法はありますか？

Question

私はPythonでUnicode文字列を持っています。文字列に中国語/日本語の文字があるかどうかを判断する方法を探しています。可能であれば、それらの文字を見つけることができる方が良いでしょう。

これは言語検出の問題とは少し異なるようです。私の文字列は、英語と中国語のテキストが混在している可能性があります。

私のコードはインターネットにアクセスしています。

Answer 1

この正規表現[\u2E80-\u9FFF]を使用すると、CJK文字を一致させることができます。

Answer 2

Unicodeスクリプトプロパティを使用して、それらが一般的に関連付けられているスクリプトを特定することができます。

Pythonのunicodedataモジュールには、このプロパティはありません。ただし、unicodedata2やunicodescriptなど、多数のサードパーティ製モジュールがこの情報を持っています。それらを照会して、Hanスクリプトに中国語（および漢字、ハンジャー）に対応する文字が含まれているかどうかを確認できます。

Answer 3

私は彼の答えでnneonneoが言及したPythonのunicodedataモジュールを試しました。おそらく動作すると思います。

>>> import unicodedata 
>>> unicodedata.name('你') 
'CJK UNIFIED IDEOGRAPH-4F60' 
>>> unicodedata.name('桜') 
'CJK UNIFIED IDEOGRAPH-685C' 
>>> unicodedata.name('あ') 
'HIRAGANA LETTER A' 
>>> unicodedata.name('ア') 
'KATAKANA LETTER A' 
>>> unicodedata.name('a') 
'LATIN SMALL LETTER A' 

ご覧のとおり、両方の漢字と日本の漢字を採用CJK UNIFIED IDEOGRAPHに分類し、ひらがなとカタカナが正しく認識されています。私は韓国語の文字をテストしませんでしたが、彼らはCJK UNIFIED IDEOGRAPHに入るべきだと思います。 、

>>> import unicodedata 
>>> unicodedata.category('你') 
'Lo' 
>>> unicodedata.category('桜') 
'Lo' 
>>> unicodedata.category('あ') 
'Lo' 
>>> unicodedata.category('ア') 
'Lo' 
>>> unicodedata.category('a') 
'Ll' 
>>> unicodedata.category('A') 
'Lu' 

がhereによると、Llが小文字のLuは大文字で、Loが他のです：あなただけそれがCJK文字/文字だ場合は気にするかどう

はまた、単純であるようです。