large-files

0熱

2答えて

私はパターンのファイルを持っている場合、私は grep -f pat_file search_file は、通常のファイルを検索するために使用できることを知っています。コマンドが各パターンを1回だけ探すようにこのタスクの実行にどのようにアプローチしますか？私は効率を探しています。だから、単にPythonプログラムを書くのが最も効率的な方法ですが、そこに何かがあると思います。 FNR == N

3熱

2答えて

Javaで大きなCSVファイルを読む

1,000,000のCSVファイルをJavaで読み込もうとしています。私はOpenCSVライブラリを使用しており、30,000行の小さなファイルで問題なく動作します。それを半分以下で処理します。しかし、100万行のファイルから読み込もうとすると、決して終了しません。今、私はそれが実際に停止しますと、見るためにテスト、およびバイナリサーチの私の独自のバージョンを使用することによって、私は最初250

0熱

1答えて

Perlは複数行の正規表現で使用するために大きなファイルを読み込みます

長さの可変な行を持つ4GBのテキストファイルがありますが、これはサンプルファイルであり、実動ファイルははるかに大きくなります。私はファイルを読んで、複数行の正規表現を適用する必要があります。マルチライン正規表現でこのような大きなファイルを読み取るにはどうすればよいですか？私はそれを1行ずつ読むと、私はマルチライン正規表現が正しく動作するとは思わない。 3つの引数の形式でread関数を使用すると

0熱

1答えて

831 MBのテキストファイルを一度にアレイに読み込む方法は？

私は831 MBのテキストファイルからデータを読みたいと思います。残念ながら、私はを取得しました。実行時エラー14.文字列スペースの外に。コードを変更するにはどうすればよいですか？私はノートブック（W10 64ビット、24 GB RAM、CPU 7500U、Excel 2016）のアレイにデータ全体を読み込むことが可能であるべきだと思います。 The Global Drifter Program（

0熱

1答えて

サーバがgunicornで大きなファイルをアップロードできない

ファイルをアップロードするためにフラスコ付きの小さなサーバを作った。私は次の操作を実行し、サーバー側で <form action="/upload" method="POST" enctype="multipart/form-data"> <input type="file" name="file"> <input type="submit"> </form> ：：アップ

-1熱

1答えて

ファイルの大きなリストをバインドするときに列の条件を設定します。

私は立ち往生しています。私は、別のCSVをバインドするためにそれらの行を定義して、そのフォルダの解析を読みました。 setAs("character", "myDate", function(from) as.Date(from, format = "%d/%m/%Y")) LF <- list.files("O:/00 CREDIT MANAGEMENT/", pattern = ".csv

1熱

1答えて

関数freadは4ギガバイト

私はfreadを使用して7.7ギガバイトのファイルを読み込むしようとしているの後にCSVを読んで停止しますが、私はそれだけでファイル途中で取得した後に読んで停止したことを示唆しているエラーを取得： cdr <- fread('/path/to/data.csv') Read 1687 rows and 610989 (of 610989) columns from 4.000 GB file i

0熱

2答えて

大規模なファイルアップロードにAWS Kinesisを使用

私のクライアントには、ビデオやサウンドファイルなどの多くのファイルが保存されています。サービスはうまくいっていますが、長期間のファイル保存は非常に難しいようですが、これらのファイルを保存するためにAWSを使用したいと考えています。問題は次のとおりです。クライアントは、AWSへのすべてのファイルをAWSに転送するためにAWS kinesisを使用したいと考えています。これは可能ですか？そのサービス

0熱

1答えて

Javaで1kbを超えるサイズを読み取ることができません

Javaで大きなファイルを処理する方法について質問があります。私はMac ProのEclipseネオンで作業します。私はJavaで.txtファイルを読みたい、ファイルのサイズはMBまたはGMです。私はgoogleで検索し、ここですべての質問をstackoverflowで読んだので、ファイルを読む方法を試してみます。私が試したのはFileReader and BufferedReader ,

2熱

1答えて

Liferayを使用した大きなファイルのアップロード（GBのデータ）

Liferayと UploadPortletRequest uploadRequest = PortalUtil.getUploadPortletRequest(request);を使用して大きなファイル（cca 2GB）を送受信できますか？私は、データ送信がデフォルトで104857600 Bに制限されていることを理解していますが、制限を0に変更すると、送信されるデータの量に制限がないことがわか