MITIEライブラリfor NLP

Question

MITIEがRasaとどのように統合されているかを理解しようとしています。 MITIEファイルのtotal_word_feature_extractor.datには正確に何が含まれていますか？私はこれについての良い文書を見つけることはありません。

ありがとうございます！

Answer 1

GithubのMITIE repoで十分深く突っ込んだら、答えを見つけることができます。たとえば、ここにはそのファイルに入るものについてのbit of informationがあります。

この記事の2ステップCCAメソッドに基づくword2vecの変形です：http://icml.cc/2012/papers/763.pdf。私はCCAメソッドに似ているものを含めるようにアップグレードしましたが、単語のベクトルを生成するためにそれらの形態を分析することでサンプル外の単語に作用します。これにより、元の辞書にない単語が多数含まれているデータセットの結果が大幅に改善されました。

MITIEがRasaに統合する方法は、Rasaの場合はfew backend choicesの1つです。インテント分類とNERの両方を行うことができるfew pipeline componentsを提供します。どちらもSVMを使用し、total_word_feature_extractor.datを使用して個々の単語ベクトルを提供します。