ATIS（Airline Travel Information System）データセットの構造

Question

私はATIS（Airline Travel Information System）データセット（http://lisaweb.iro.umontreal.ca/transfert/lisa/users/mesnilgr/atis/）を使用してリカレントニューラルネットワークの研究を行っています。私はその構造と混同しています。

たとえば、data = pickle.load(open("./dataset/atis.fold0.pkl", "rb"),encoding='iso-8859-1')を使用してatis.fold0.pklを読み込んだ後、print (np.shape(data_train))を使用して(4,)を取得します。私はデータ[0]がトレーニングセットであり、データ[1]が有効なセットであり、データ[2]がテストセットであり、データ[3]が辞書であると考えます。

しかし、print(np.shape(data[0]))を使用すると、(3, 3983)となります。なぜ私はそれに3行を得るのだろうか？これらの3つの行の違いは何ですか？

ファイルatis.fold0.pkl、atis.fold1.pkl、atis.fold2.pkl、atis.fold3.pkl、atis.fold4.pklの違いは何ですか？

Answer 1

f = gzip.open(filename, 'rb') 
try: 
    train_set, valid_set, test_set, dicts = pickle.load(f, encoding='latin1') 
except: 
    train_set, valid_set, test_set, dicts = pickle.load(f) 


print np.shape(train_set) 

それぞれの漬物は、トレーニング、検証、テスト、およびその辞書に分けることができます。あなたが辞書の要素を見ると、彼らは

words2idx
tables2idx
labels2idx今すぐ次のコード for i in train_set: print len(i[0])

をテスト含まれていることは、同じ長さのファイルを返します。 最初の要素は単語です.2番目はtables2idx、3番目はスロットの最後の結果です（labels2idx）

dictを使用してIDをデシートしてください。意味がわかります。