record-linkage

1熱

2答えて

forループを使用しない2つのデータセットの行のファジーマッチング

2つのデータセットAとBがそれぞれ8つのcoloumnsを持っています。データセットAには942個の行があり、データセットBには5079個の行があります。データセットAとデータセットBを比較し、ファジーマッチングを行う必要があります。データセットBに一致する行がある場合は、データセットAの「一致」を追加列にマークする必要があります。 私はRには比較的新しいので、forloopの代わりにlapply

r matching sapply fuzzy record-linkage 2016-07-05

---

1熱

2答えて

乱雑なデータセットに対するすべての一致を返すためにPythonの重複除外ライブラリを使用してください

最初に、のPython用ライブラリを見たことがない方は素晴らしいです。 TensorFlowによく似ていますが、私のような大衆に機械学習をもたらす素晴らしい方法です。 私は、大規模で面倒な単一のデータセットに対して名前のレコードリンケージを実行しようとしています。今私はヒューリスティックを使用していますが、より複雑なデータセットでは不足し始めています。 質問： （一対一によるまたはバッチで）単一の

fuzzy-comparison record-linkage python-dedupe 2017-11-17

---

0熱

1答えて

効率的なパターンマッチングを使用してビッグデータの行の類似性を見つける方法

私は約100,000行のテーブルを持っています。この表は、Excelファイルであり、そしてここでのスナップショットです： +------------+-----------+-----+-----+-----------------------------------------------------------+ | First Name | Last Name | Sex | Age |

python pattern-matching cluster-analysis fuzzy-comparison record-linkage 2016-10-21

---

1熱

1答えて

RecordLinkage - R 1つのベクトル。私は名前のいずれかのベクトルを持っている場合は、自己

に一致していない、と言う： a = c("tom", "tommy", "alex", "tom", "alexis", "Alex", "jenny", "Al", "michell") は、私は、このベクター内の類似性スコアを取得するために使用levenshteinSimまたは類似を取得したいです。しかし、私は自己スコアにしたくありません。たとえば、"tom" #1は"tom" #3とスコ

r levenshtein-distance fuzzy-logic stringdist record-linkage 2017-08-16

---

-1熱

1答えて

虹彩データセットの2つの単純な列を使用して編集距離を計算する

以下のコードでは、2列のテキスト文字列間の類似度を計算します。これを達成するには、虹彩から "Petal.Length"それをa1に割り当て、虹彩の「Sepal.Length」列の最初の4行をa2に割り当てます。私の目的は、最後の行の数式を使って各a2値をすべてのa1値と比較して、40個の値を持つ最終ベクトルpercent_calcを得ることです。 library(stringdist) lib

r stringdist record-linkage 2017-12-07

---

1熱

1答えて

データフレーム内の対応する値をR

で表示する以下のコードを確認してください。以下の3つの変数を使用してデータフレームを作成しました。変数y123はa2とa1の間の類似性を計算します。変数 "y123"は私に合計16個の値を与え、すべてのa1の値がa2と比較されます。特定の「a1」値と特定の「a2」値を比較すると、「a2」に対応する「a3」値が表示されます。結果は、列y123を有するデータフレームであり、対応する「a3」列は、4回、

r dplyr stringdist record-linkage 2017-12-07

---

4熱

1答えて

重複したpythonを使用した場合のリソース使用率が低い

大きなデータセットで重複を見つける必要があるので、私はdedupe pythonライブラリをテストしています。 小さなデータセットの使用をお勧めしますので、良いマシンを使用するとパフォーマンスが向上すると思います。私は56GBのRAMを搭載したマシンを持っており、200000行のデータセットの場合は"csv_example"に似たテストを実行しています。それは動作しますが、メモリの使用量は非常に低

python pyspark record-linkage python-dedupe 2017-06-01

---

0熱

1答えて

データを相互参照するときのファジー検索の使用

私の部署は、データマイニング/会社ダッシュボードで使用するための広範な社内ソースからのデータの収集と表示を処理します。 私たちが抱えている大きな課題の1つは、さまざまな部門間で場所の名前を相互参照することです。私たちはかなり大規模な組織であり、異なる利益を持つ部署は、いずれかの場所で独自のレポートを作成します。一般的には、所在地名がそれらの部門にわたる報告書に含まれているというEXACT名には矛盾

database-design dashboard fuzzy-search data-integration record-linkage 2012-02-10

---

2熱

2答えて

Fellegi-Sunter用のオープンソース実装はありますか？

Fellegi-Sunterのオープンソース実装はありますか？

java search record-linkage 2011-03-01

---

15熱

2答えて

機械学習によるデータの重複除外

私は以下の問題を抱えていましたが、機械学習を使うことができると思っていましたが、私の使用事例ではうまくいくとは確信していません。 名前、住所、電子メール、電話などの顧客データを含む約1億レコードのデータセットがあり、この顧客データを消去し、データセット内の可能な重複を特定する方法を探したいと考えています。 ほとんどのデータは、検証のない外部システムを使用して手動で入力されているため、多くのお客様が

machine-learning duplicates mahout recommendation-engine record-linkage 2013-05-05

---