language-model

    0

    1答えて

    RNN言語モデルのコードを見ています。 1)訓練ペア(x、y)がどのように構築され、続いて2)がどのように計算されるかについて混乱しています。このコードは、Tensorflow RNNチュートリアル(リーダーモジュール)から借りています。 リーダーモジュール内では、発電機ptb_iteratorが定義されています。データは1つのシーケンスとして取り込まれ、は、バッチサイズとRNNをアンロールするス

    1

    1答えて

    私は3 milionの要約を持っており、私はそれらから4-gramを抽出したいと思います。私は言語モデルを構築したいので、これらの4グラムの頻度を見つける必要があります。 私の問題は、これらの4グラムすべてをメモリで抽出できないことです。どのようにしてこれらの4グラムのすべての周波数を推定できるシステムを実装できますか?

    2

    1答えて

    たとえば、ある単語の次の単語を予測しようとすると、私はバイグラムのアプローチを使用して、コーパスの前の単語に基づいて発生する単語の確率を計算できます。 代わりに、私は次の単語を予測するニューラルネットを使用している場合。訓練データは、各ペアがコーパス内の現在および次の単語を含む単語ペアからなる。ネットを訓練することは、入力値を単語のベクトル化された表現として使用し、出力値はコーパスの次の単語のベク

    0

    1答えて

    言語モデリングに新しく、大きなテキストファイル(〜7GB)からkenlm(またはthis)を使用して3grams言語モデルを作成しました。 は、私は私の言語モデルからバイナリファイルを作成し、このようなpythonでそれを呼び出す: import kenlm model = kenlm.LanguageModel(<my .klm file>) model.score(<my sentence

    5

    1答えて

    TensorFlow CTC実装でビームスコアラーをPython側からカスタマイズすることは可能ですか?私はCTCBeamSearchDecoder C++クラスのコンストラクタのコメントでこの可能性を見ていますが、この機能をPythonユーザに提供する方法は不思議ですか? 特定の問題は、言語モデルをCTCベースの音声デコーダに差し込むことです。言語モデルは、あらかじめ訓練されたTensorFlo

    1

    1答えて

    NLPの研究分野は初めてです。私は論文を実装したいCan Artificial Neural Networks Learn Language Models?このペーパーでは、ニューラルネットワークが言語モデルを学ぶことができるように、最初にステップがとられました。私はこの論文を理解しました。紙の最後の部分ではすべてが分かりやすいものです。 私はそのコードを発見しませんでした。紙が古すぎる(2000

    1

    1答えて

    私はKerasの単語レベルで言語モデルを訓練しようとしています。 私は、このモデルに適合しようとすると、私は両方の形状(90582L、517L) で、私のXとYを持っている: print('Build model...') model = Sequential() model.add(GRU(512, return_sequences=True, input_shape=(90582, 517

    1

    1答えて

    文境界を越えない繰り返し言語モデル(例:LSTM)を構築する最良の方法は何ですか?もっと一般的に言えば、複数の文を含む各行に、モデルにバッチを提示すると、各文を見た後で状態をどのようにリセットできますか?モデルに指定できる特別なトークンはありますか? ありがとうございます!

    -1

    1答えて

    私はPocketSphinxで自然言語用の音声認識プログラムを作成しています。私は文法を使うのではなく、言語モデルを使いたいと思っています。 オンラインで既に行われているものが見つからない可能性はありますか? 誰もがthis pageをリンクしていますが、それは音響モデルを含んでいます。私は統計言語モデルを使って.dmpまたはARPAファイルを探しています。 私はそれを自分で作ることができましたが

    2

    1答えて

    私はTensorFlowを初めて使い、言語モデルを訓練する必要がありますが、documentを読んでいる間にいくつかの問題にぶつかります。この行が必要な理由を私は理解していない lstm = rnn_cell.BasicLSTMCell(lstm_size) # Initial state of the LSTM memory. state = tf.zeros([batch_size, ls