javaでのHTMLの保存と解析中に特殊文字と記号が発生する

Question

私は電子商取引アプリケーションをテストするためにSeleniumを使用しています。リストのページでカテゴリを選択する際にリストされたアイテムを、データベース内のアイテムと照合する必要があります。そこで私はセレンを使ってページにアクセスし、ページソースをテキストファイルに保存しています。後でHTMLCleanerとJSoupを使ってこのテキストファイルを解析し、DBで検証したいフィールドを取得します。

しかし、ページに記載されている製品の中には、™、®などの特殊文字が使用されており、正しく保存/検索されずに疑問符で表示されることに気付きました。ストリームライター用エンコーディング定義ファイル

Document htmlFile = Jsoup.parse(fileSavedPreviously,"ISO-8859-1"); 
TagNode tagNode = new HtmlCleaner().clean(fileSavedPreviously); 

try { 
    org.w3c.dom.Document doc = new DomSerializer(new CleanerProperties()) 
     .createDOM(tagNode); 

} catch (ParserConfigurationException e) { 
    e.printStackTrace(); 
} 

//rest of the parsing.... 

Answer 1

BufferedWriter writer = null; 
try 
{ 
    writer = new BufferedWriter(new FileWriter(filepath+"/"+filename+".txt")); 
    writer.write(driver.getPageSource()); 
} 
catch (IOException e) 
{ 
    e.printStackTrace(); 
} 
finally 
{ 
    try 
    { 
     writer.close(); 
    } 
    catch (IOException e) 
    { 
    } 
} 

の取得と解析する：

writer = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(fullpath), "UTF-8")); 

をさらに提供

コードは、私は、ページのソースを保存するために使用していますパーサーと同じもの：

Document htmlFile = Jsoup.parse(fileSavedPreviously, "UTF-8"); 

ページのエンコードを取得するには、ブラウザコンソールでdocument.inputEncodingを実行します。

Answer 2

あなたがFileWriterのコンストラクタを使用している場合、それはあなたがそのような問題に直面している場合は、代わりに次のように明示的に文字エンコーディングを定義するためにOutputStreamWriterのコンストラクタを使用する必要がありますので、明らかにこれらの特殊文字をカバーしていないデフォルトの文字セットを使用します：

を

writer = new BufferedWriter(
    new OutputStreamWriter(new FileOutputStream(filepath+"/"+filename+".txt"), charsetName 
); 

ISO-8859-1ので、カバーは®なく、™、あなたはUTF-8などのUnicode文字セットを使用して、あなたのコンテンツを書いて、あなたがそれをどこを読んで両方の場所でそれを設定する必要があります。