データベースからテーブル全体を反復処理する最も良い方法は何ですか？

Question

トークン化されたテキストを表すデータベースにトークンというテーブルがあります。

各行は、私が知りたいのは何（トークンからであるというテキストを識別するための）のTextBlock、文や位置などの属性やなどのテキスト、カテゴリ、chartype、のような論理フィールド

をぐるぐる以上のすべての反復でありますパターンを見つけていくつかの操作を行うトークン。たとえば、カテゴリとして名前を持つ2つの隣接するトークンを1つにマージします（この後、位置をリセットします）。私は何らかのリストが必要だと思う。

これを行うにはどのような方法が最適ですか？ SQLクエリを使用して、パターンを検索したり、テーブル内のすべてのトークンを反復処理したりします。私はクエリが複雑になるだろうと思うし、多分リストがよりシンプルになるように繰り返しますが、どのような方法であるのかわかりません（例として、Javaリストを取得するか、繰り返し実行できる言語を使用しますデータベース上で右に変化する）。

この質問に私が知りたいことは、これを行うための最も推奨される方法です。私はJavaを使用していますが、もし他の言語がうまくいけば問題はありません。私はRを使って統計計算を行う必要があると思います。

編集：テーブルが大きく、何百万行もあり、メモリ全体が読み込めません。

Answer 1

これは、主に保守したいコーパスのサイズと、それらに対して実行する操作の種類に基づいて行われることになります。

サイズが「エディタに収まるもの」よりも大きくなる場合は、何らかの種類のデータベースが必要になります。これは、SQLデータベースであってもなくてもよい。しかし、コード部分もあります。データに対して軽微な操作を実行するには、のプログラミング言語が必要です（C、Java、Pythonなど）。その場合、データベースとの通信はボトルネックになります。アプリケーションプログラムのメモリに収まる結果を生成するクエリを生成する必要があります。 SQLは、Nグラムを表現して保存するのに十分強力ですが、それについてはいくつかの計算を行いますが、それはあなたが得ようとしている限りです。どのような場合でも、データベースは完全に正規化されている必要があり、非DBAの方が理解しにくくなります。

私自身の玩具プロジェクト、http://sourceforge.net/projects/wakkerbot/ハイブリッドアプローチを使用した：

• データがデータベース
• 実際の（修飾MegaHalにあるように、コーパスが格納されたPythonのクローラー
• によって得られましたマルコフコードは、辞書、Nグラム、および関連する係数を含む（バイナリ）フラットファイルにコーパスの独自のバージョンを格納します。
• 高度に最適化されたCプログラムによってトレーニングとテキスト生成が行われます。
• 出力は別のpythonスクリプトによって取得され、ターゲットに送信されました。

[別の人生では、おそらくさらに正規化を行い、Nグラムまたはツリーをデータベースに格納していたでしょう。そうすれば、パフォーマンスは1秒あたり生成される文章が数個に減少する可能性があります。今は約4000 /秒]

あなたが望むのは、ちょうど1つのタスクを効率的に行うプログラム（wakkerbotなど）よりも "言語的な作業台"に似ているということです。いずれにしても、もう少し正規化する必要があります：トークンを{tokennumber、tokentext}として保存し、数字だけで参照してください。基本的には、テキストはトークン番号の束を含むテーブル（または配列）です。 Nグラムは、ちょうどカップルのtokennumbers +対応する係数です。

Answer 2

IMOすべてをJavaにロードして操作を簡単にすることができ、DB全体の再クエリが頻繁に繰り返されるのを避けるために、

Javaと統計には非常に強力な数値ライブラリがいくつかあります。あなたが必要としているものが入手できない（または遅すぎる）かどうかを確かめるまで、私はそれを外して解雇しません。

Answer 3

小さいテーブルを使用して作業している場合、またはマージ戦略を証明している場合は、候補の重複する行をすべて検索し、関連する列をテーブルにダンプします。その表をテキストエディタまたはスプレッドシートで表示して、重複に関する仮説が正しいかどうかを確認します。

2つの行を1つにマージしようとすると、データが削除されることに注意してください。最悪の場合は、すべての行を1つにマージすることです。慎重に進んでください！

Answer 4

これは最適化された方法ではありませんが、コードを簡単に書くことができるデザインです。

1. テーブルの行を表すエンティティクラスを作成します。

2. 特定の行IDのエンティティオブジェクトを取得できるファクトリメソッドを記述します。つまり、指定された行の値を持つエンティティクラスのオブジェクトを作成するメソッドです。

3. テーブルに特定の行オブジェクトを削除して挿入するメソッドを書き込みます。

4. 行カウント方法を書き込みます。

5. 今、あなたのJavaコードを使用してテーブルを反復しようとすることができます。 2つの行の間をマージすると、次のインデックスを正しく調整する必要があることに注意してください。

この方法では、小さなメモリを使用できますが、多くのクエリを使用して行を作成します。

概念はORM（オブジェクトリレーショナルマッピング）と非常によく似ています。もしあなたがhibernateや他のORMを使う方法を知っていたら、それらのライブラリを試してみてください。

Answer 5

これは、テキスト検索エンジンを設計しているようです。まず、pgsqlの全文検索エンジンが適切かどうかを確認する必要があります。

フルテキスト検索を行わないと、plをpgsqlにロードしてドライブすることを学ぶことが、最も高速で効率的な解決策になりそうです。それはあなたがRのいくつかのよく考えられた行にこのすべての作業を置くことを可能にし、データへのアクセスが最も近いdbのすべてでそれを行います。そのような計画を避ける唯一の時間は、データセットをメモリに保持し、その中の単一のCPUコアをクランキングするなど、データベースサーバを非常に難しくする場合です。それから、アプリ側にするのは大丈夫です。

pl/Rを使用するかどうかにかかわらず、カーソル内の大量のデータセットにアクセスすると、1つまたは複数の行のサブセットを取得するのが最も効率的です。あなたが処理したいそれぞれの事柄に対してwhere句を使ってselectを実行すると、メモリ内のすべての行を一度に保持する必要はありません。実行中の平均などのように、結果セットの一部を取得して破棄することができます。

ここでスケールについて考えてみましょう。 5 TBのデータベースがある場合、これを最も速くアクセスするにはどのようにアクセスしますか？データセットの1％にしかアクセスしていない場合でも、スケーリングの貧弱なソリューションが戻ってきます。そして、あなたがすでにかなり大きなデータセットを開始しているのであれば、それは時間とともに悪化するでしょう。

PL/[トピックオフ]