Aから入手可能な記事Bの連続する単語を見つける

Question

非常に大きい2つの記事AとBがあります。 Aで3つ以上の連続した単語を取得し、Bに表示されているかどうかをチェックし、出現回数を数えます。たとえば、「book」「his」と「her」がAに表示されている場合、Bに何回表示されますか？

私はBの内容全体を分割し、Aの3つの単語すべてをStringTokenでチェックすることを考えましたが、アルゴリズムの効率についてはわかりません。

Answer 1

Hashtableが何であるかを見て、ハッシュテーブルに見つかった各単語（見つからない場合）または各単語を1つずつ検索します（大きなファイルのメモリ使用について気にしない場合は分割できます）。単語が見える時間を得るために数を増やしてください。

次にスキャンします。 Aを越えて、3ワードの各セットを探しています。この方法では、後で何も書き換えずにウィンドウの長さを長くすることができます。

参考のために、実際には宿題にそのようなタグを付ける必要があります。

Answer 2

結果に到達するには、Bのコンテンツ全体を一度スキャン/解析する必要があることは明らかです。あなたはそれを避けることはできません。行ごとにそれを読んでください。すべての行について、指定された検索条件と行内の数を検索します。最終結果を得るために、行ごとに生成されたカウントを追加し続けます。

Bのコンテンツに同じ/異なる用語を何度も使用したい場合は、BのためにInverted_indexを作成するのが最適です。