UTF-8文字が正しく表示されない

Question

Nutch 1.4とsolr 3.3.0を使用して、フランス語で自分のサイトをクロールしてインデックスを作成しています。私のサイトは以前はiso8859-1だった。

現在、私はsolrの下に2つのインデックスを持っています。最初のものは私の古いページ（iso8859-1）を保存し、2番目のものは私の新しいページ（utf-8）を保存します。

両方のクロールジョブに同じNutch設定を使用して、自分のサイトの古いページと新しいページを取得してインデックスを作成します。私は自分自身でチャーターエンコーディングに関する設定を追加していない（私は思う）。

私はutf-8にあると思われる新しいページを検索する際に問題に直面しています。フランス語の文字は正しく表示されません。しかし、iso8859-1の古いページの場合、すべてがうまくいくようです。

誰かがこの問題を解決するための正しい方向で私を指すことができたのだろうかと思っていました。

私は問題がnutchから来ていると思います。なぜなら、セグメントのダンプを作成したとき、私はダンプファイルでその面白いキャラクターを見ました。

ありがとうございます。

Answer 1

nutch-default.xmlには、「parser.character.encoding.default」の値をそれに応じて設定する必要があります。それをutf-8に設定するだけです。デフォルト値は "windows-1252"です。

Answer 2

私はNutchに精通していませんが、私は他のものでこれを見ました。

あなたがチェックしたり、やるべき物事のカップル：Webサーバー上の

1. あなたの新しいページをコンテンツ交渉ではないかもしれないことかもしれまだ新しいページ用のUTF-8
2. あなたのcharsetのメタタグbe iso8859-1

古いサイトのすべての古いページを取り、iconvのようなツールを使ってUTF-8に変換することをお勧めします。その後、Webサーバーで、すべてのテキストがUTF-8として扱われるように構成します（つまり、送信されたコンテンツタイプのヘッダーはUTF-8と言います）。