python - ファイル内の単語の複合ブール検索

Question

私はフォルダ内にたくさんのファイルを持っています。すべてをプレーンテキストファイルに変換すると仮定しましょう。

私はこのような検索を実行するのpythonを使用したい：

query = '(word1 and word2) or (word3 and not word4)' 

実際logcが変化し、複数の単語を一緒に使用することができます。別の例：

query = '(shiny and glass and "blue car")' 

また、これらの単語は変数であるため、ユーザーによって提供されます。

私は一致した文章とファイル名を表示したいと思います。 これはwhooshやhaystackのような複雑な検索エンジンを必要とせず、フィールドでファイルを索引付けする必要があります。 また、これらのツールでは、上記で説明したようにブール値のクエリがないようです。 pdfquery私はpdfsのために欲しいものを正確に提供していますが、今はテキストファイルとxmlファイルに必要です。

提案がありますか？

Answer 1

私は、私はそれは同様に他の人に役立つことを願っています​​

と呼ばれるPythonパッケージを作ったので、私は本当にこのようなソリューションを持っている必要がありました。

Answer 2

簡単な方法はありませんが、これは簡単ではありません。安全でない文字列を実行可能なコードに変換しようとしていますので、簡単な方法をとることができず、evalを使用してください。これらはリテラルではないので、ast.literal_evalも使用できません。 AND,NOT、OR、(、および)のようなものを認識し、文字列以外のものとみなすレクサーを作成する必要があります。一番上では、化合物のブール値を扱う必要があるように思われるので、これはあなたが思っているよりもはるかに難しくなります。

文で検索することを尋ねられます。これはPythonの動作方法ではありません。 by-lineの代わりにデータby-sentenceを得るには、別のレクサーを書かなければならないでしょう。これを効果的に行うには、ioモジュールをよく読んでください。私はそれをオフハンドで行う方法はわかりませんが、基本的にループするデータがある間にループし、各反復をバッファーに読み込み、到達したときに降伏します。"\.(?=\s+)"

最初のクエリレクサーの結果を、ファイルレクサーの結果を横断して実行される一連のリスト内包によって実行します。