PHPを使ってファイル内の重複した行を削除するにはどうすればいいですか？（オリジナルのものを含む）

Question

私の質問は非常にシンプルですが、適切な答えはどこにも見つかりませんでした。 。の.txtファイルを読み込み、重複行があるかどう、1を保持していない、それらのすべてを削除する方法たとえば、.TXTに次のものが含まれます。

1234 
1233 
1232 
1234 

出力は次のようになります。

1233 
1232 

コードは複製された行をすべて削除する必要があるため、すべてのWebを検索しましたが、常にrem複製された行は削除されますが、this、this、またはthatのように、それらの1つを保持します。

これを実行する唯一の方法は、x行を読み込んで、.txt全体をチェックして、同じ結果を見つけたら、x行も削除して削除することです。そうでない場合は、次の行に変更します。しかし、私がチェックしている.txtファイルには50億の行（〜900Mb）があります。このような仕事をするためにどれくらいのメモリが必要かわからないので、ここで助けてください。

Answer 1

ファイルを1行ずつ読み込み、値が行が表示される回数をカウントする連想配列のキーとして使用します。完了したら、値が1のすべての行を書き出します。これには、すべてのユニークな行と同じくらいのメモリが必要です。

$lines = array(); 
$fd = fopen("inputfile.txdt", "r"); 
while ($line = fgets($fd)) { 
    $line = rtrim($line, "\r\n"); // ignore the newline 
    if (array_key_exists($line, $lines)) { 
     $lines[$line]++; 
    } else { 
     $lines[$line] = 1; 
    } 
} 
fclose($fd); 
$fd = fopen("outputfile.txt", "w"); 
foreach ($lines as $line => $count) { 
    if ($count == 1) { 
     fputs($fd, "$line" . PHP_EOL); // add the newlines back 
    } 
} 

Answer 2

私はあなたがしたいことのすべてを行う唯一の機能があるとは思っていません。したがって、これはステップに分解されます...

まず、ファイルを直接アレイにロードできますか？今fileコマンド

$lines = file('mytextfile.txt'); 

のマニュアルを参照してください、私は、アレイ内のすべての行を持っています。私が持っている各エントリーの数を数えたいと思う。 array_count_valuesコマンドのドキュメントを参照してください。今

$counts = array_count_values($lines); 

、Iはアレイを通して容易にループすることができ、カウント> 1

foreach($counts as $value=>$cnt) 
    if($cnt>1) 
    unset($counts[$value]); 

は今、私は配列に（値）配列のキーを回すことができる任意のエントリを削除します。

$nondupes = array_keys($counts); 

最後に、内容をファイルに書き出すことができます。

file_put_contents('myoutputfile.txt', $nondupes); 

Answer 3

私ははるかにエレガントな解決策を持っていると思う：

$array = array('1', '1', '2', '2', '3', '4'); // array with some unique values, some not unique 

$array_count_result = array_count_values($array); // count values occurences 

$result = array_keys(array_filter($array_count_result, function ($value) { return ($value == 1); })); // filter and isolate only unique values 

print_r($result); 

ができます：

Array 
(
    [0] => 3 
    [1] => 4 
)