HaskellのUtf8とオーバーロードされた文字列

Question

私のテキストのアクセントは に変換されることに気付きました。 私はそれを次の例に煮詰めました。この例では、 はtest.txtというファイルを書き込みます（上書きします）。

ユニコードテキストを扱うために とされているData.Textのメソッドを排他的に使用します。ソースファイル と出力ファイルの両方がutf8でエンコードされていることを確認しました。

{-# LANGUAGE OverloadedStrings #-} 

import Prelude hiding (writeFile) 
import Data.Text 
import Data.Text.IO 

someText :: Text 
someText = "Université" 

main :: IO() 
main = do 
    writeFile "test.txt" someText 

コードを実行した後、test.txtには以下が含まれます。 GHCiの中 、私は次のよう

*Main> someText 
"Universit\233" 

が、これはすでに間違ってエンコードされ得ますか？私も https://hackage.haskell.org/package/text-1.2.2.2/docs/Data-Text.html、 のcommentにコメントを見つけましたが、上記の例を修正する方法はまだ分かりません。

どのようにしてアクセントをOverloadedStringで使用し、正しくファイルに書き込むことができますか？

Answer 1

これはData.Textとはまったく関係がありません。確かにOverloadedStringsではなく、どちらもUTF-8ユニコードをうまく処理します。

Data.Text.IOは、BOMなどのエンコードを示すものではありません。つまり、ファイルには実際にそのままの状態のテキストが含まれています。

sagemuej@sagemuej-X302LA:~$ xxd test.txt 
00000000: 556e 6976 6572 7369 74c3 a9    Universit.. 
sagemuej@sagemuej-X302LA:~$ cat test.txt 
Université 

だから、あなたが持つファイルを開くどのエディタによっては、それは間違ったエンコーディングを推測することができ、それは明らかにあなたの問題だ：任意の近代的なシステムでは、これは、生のUTF-8形式であることを意味します。 Linuxでは、UTF-8は長い間標準であったため、ここでは問題はありませんが、Windowsはそれほど最新ではありません。ただし、任意のエディタでエンコーディングを手動で選択することは可能です。

実際には、Data.Text.IO.writeFileはlocaleを使用してファイルのエンコード方法を決定します。現在はロケールとしてEverybody should have UTF-8となっていますが、変更しない場合は変更してください。

ファイル内にBOMを取得し、このような問題を回避するには、utf8_bomを使用してください。

GHCiに表示されている出力については、それはShowインスタンスです。それは文字列のような値を最も安全な考えられる形式、つまりエスケープシーケンスのASCIIでないものにエスケープします。は'\233'です。ここでも、特定のではないTextに、実際にあなたも、単一の文字のためにこれを取得する：あなたは文字列型のために直接-IO-出力アクションを使用する場合

Prelude> 'é' 
'\233' 
Prelude> putChar '\233' 
é 

このエスケープが発生したことがない、すなわちputChar、putStrまたはputStrLnを。 GHCiの中

Prelude> import qualified Data.Text.IO as Txt 
Prelude Txt> Txt.putStrLn "Université" 
Université