spaCy複数の言語を使用したドキュメント処理

Question

特定の長さのドキュメント文字列sと同じ長さの言語マスクlがあると、対応するスペシャル言語モデルのドキュメントの各部分（span？）を処理したいと思います。

は私が

import spacy 
nlp_de = spacy.load('de') 
nlp_en = spacy.load('en') 

d_de = nlp_de(u"".join([c for i,c in enumerate(s) if l[i] == "de"])) 
d_en = nlp_en(u"".join([c for i,c in enumerate(s) if l[i] == "en"])) 

外の文書を構築したいと思いますそして今、私は何とか一緒にその二つの部分を接着しなければならない例えば

s = 'As one would say in German: Wie man auf englisch zu sagen pflegt' 
l = ['en'] * 27 + ['de'] * 37 

を言います。しかし残念ながら、spacyの文書は語彙に関する情報を保持しています。したがって、これは曖昧です。

多言語文書をspacyでモデル化するにはどうすればよいですか？このに関する

Answer 1

2思考：

1. code switch：（主にではなくに制限）話テキストに1つの以上の言語の組み合わせです。これはまさにあなたの例ではありません。
2. あなたのような文章は、分かりやすいものです。

ほとんどの例文に似ているとすれば、私は言語別にテキストを区切ってみようとしています（例では、2つの文を得て、それぞれ独自に処理します）。

spacyにコードスイッチの組み込みサポートが含まれているかどうかわかりませんが、そうでない場合は独自のモデルを構築する必要があります（または単にspacyのものを組み合わせようとします）あなたの実際の仕事で