私は一連のトークンから<em>nグラム</em>を生成生成したいKeras/Tensorflow

Question

で

をバイグラムとトライグラムを生成します。私が使用thisスレッドを発見した検索した後

bigram:: "1 3 4 5" --> { (1,3), (3,4), (4,5) } 

：

def find_ngrams(input_list, n): 
    return zip(*[input_list[i:] for i in range(n)]) 

私がトレーニング時間中にこのコードを使用すると、深いラーニングライブラリでパフォーマンスがのために死に至ると思います。だから、lambdaのようなものを探しています（前処理ステップですべてのシーケンスを生成することも可能ですが、それはエレガントな方法ではないと思います...）

Answer 1

私の場合、私はPoolingバイグラム/トリグラムを生成する。 1のストライド、次のコードで、それはbi-gramとほぼ振る舞うます：

AveragePooling1D(pool_size=2, strides=1, padding='same') 

を