mysqlデータベースの特定の文字を照合utf-8で置き換える疑問符はなぜですか？

Question

私はJsoupを使ってウェブページをスクラップしています。それはテキストを取り込み、それをデータベースに直接入力します。

対象のWebページのテキストは完全にうまく見えますが、データベースに入力すると、特定の文字を置き換える疑問符が表示されます。例えば

単一の右引用符（U + 2019）次の文で：

私は、ええと 想像力の影響を受けていない人間の努力のドメインを想像することはできません。

は、データベースに次のように表示されますと、私はそれを出力してるウェブページ：？？

私はtはトン の影響を受け、ええとにISN人間の努力のドメインを想像することができます想像力。当初、私は現在で働いているSQLデータベースがである

...私は、これはデータベースの文字セット/照合を持つだけの問題でだと思ったが、さまざまな種類を試した後、問題が解決しない

UTF-8：

mysql> SHOW VARIABLES LIKE 'character\_set\_%'; 
+--------------------------+--------+ 
| Variable_name   | Value | 
+--------------------------+--------+ 
| character_set_client  | utf8 | 
| character_set_connection | utf8 | 
| character_set_database | utf8 | 
| character_set_filesystem | binary | 
| character_set_results | utf8 | 
| character_set_server  | utf8 | 
| character_set_system  | utf8 | 
+--------------------------+--------+ 

とメタが設定されている：

<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> 

私は特にJavaでそれを設定しようとしましたそのように：これはあるかもしれない理由を任意のアイデア..私は新しいデータベースと何も動作するようです作成しようとしました

を

SET NAMES 'utf8' 
SET CHARACTER SET utf8 

：

url = "jdbc:mysql://localhost:3306/somedb?useUnicode=true&characterEncoding=utf-8"; 

私のようなSQLクエリを試してみましたハプニング？

Answer 1

Jsoupは、クロールされるウェブページの文字セットを自動的に検出します。 しかし、多くのウェブサイトでは、文字セットを定義しないことによって、コンテンツタイプのヘッダーとともに文字セットのエンコーディングを設定していません。

HTTP応答のContent-Typeヘッダーにcharset属性がないWebページをクロールすると、Jsoupはプラットフォームのデフォルト文字セットを使用してページを解析します。つまり、プラットフォームのデフォルト文字セットがクロールしているWebページと異なる可能性があるため、期待した結果が得られない可能性があります。 文字が失われたり、誤って解析または印刷されたりすることがあります。ページの作品を作るために、いくつかのステップが正しくあり

String page = "http://www.somepage.com"; 

//get input stream from the URL 
InputStream in = new URL(page).openStream(); 

//parse document using input stream and specify the charset 
Document doc = Jsoup.parse(in, "ISO-8859-1", page); 

//..do your processing 

Answer 2

：あなたはInputStreamとしてURLを読み、手動で下記のようご希望の文字がJsoupの解析方法で を設定指定する必要があり、そのような行動を避けるために

。

Trouble with UTF-8 characters; what I see is not what I stored