large-files

0熱

1答えて

私は現在、belkasoft、ftk imagerなどのアプリケーションで作成されたメモリダンプを処理するためにPythonを使用していますが、通常は.memまたは.dmpの拡張子を持ちます。形式： 53 FF 00 F0 53 FF 00 私は、これらのデータは、のは、ヒートマップまたは使用カーブが多分各バイトを視覚化しようとして使用することを言わせて視覚化したいと思います。 2GBファイル

0熱

1答えて

関数の暗黙の宣言

私は、GCCコンパイラと組み合わせてfseeko関数を使用して、Cで4GiBより大きいファイルを処理しようとしています。今ではすべてが機能し、ファイルを扱うことができます4GiB以上であるが、GCCはfseeko関数が暗黙的に宣言されていると不平を言っている。私はこの警告を修正するために含まれているか、ヘッダーどこにも見つけることができません #define __USE_LARGEFILE64

0熱

1答えて

BFGでgitの履歴を消去

最近私のコミットをgithubにプッシュしようとしたので、私はこのquestionと同じエラーメッセージを受け取りました。リポジトリからファイルを削除しましたが、履歴をクリーンアップする必要があります。答えに記載されているように、私は解決策であると思われるBFGを調べました。 instructionsを読み取っている間は、git --mirror link-to-remote-repoを使用して始

0熱

1答えて

大きなxmlドキュメントの処理

私は、securefileバイナリxmlとして保存されたxmltypeが最大4GBのファイルサイズを処理できることを理解します。 4GB xml以上のファイルを処理する良い方法があれば知っていますか？

0熱

1答えて

大規模なcsvファイルはサーバーで作業中にRのすべての行をインポートしませんか？

私は約470 MBの大きなcsvファイルを持っています。まず、ノートパソコンでこの大容量のデータを開こうとしましたが、これは4GBのメモリをcsv形式で持っています。しかし、ファイルが完全にロードされていないというエラーメッセージを出しました。開かれた行は1048576行ありました。私は後で次のコードを使用して、私の大学のサーバーを使用してRにデータを開こうとしました： library("sql

0熱

1答えて

大きなファイルを繰り返すpowershell

こんにちは私はpowershellを開始したばかりですが、 "ABCD #######"などの大きなファイルを繰り返し処理するpowershellスクリプトを使って作業しています; "#### ";" @@ "; ##;" @@ "; ####; ####;" @ ";私がPowerShellで行う必要があるのは、このファイルを繰り返し実行することです。このファイルには、20,000行以上の情報が

1熱

1答えて

大きなファイルの書き込みと読み込み用に開く

os.open,mmap、from_buffer()を使用して大きなバイナリファイル（> 5 GB）を読み込もうとしています。実行中fd = os.open(filePath, O_RDWR)エラーOSError: [Errno 22] Invalid argument: H:\\xyz.wdpが発生しました。問題は、ファイルが大きすぎるということに気付きました。類似しているが小さいファイル、O

0熱

1答えて

pigzを最適化する方法は？

pigzを使用して、約50GBの大きなディレクトリを圧縮しています。私はec2インスタンスをRedHatで使用しています。インスタンスタイプはm4.xlargeです.4つのCPUがあります。圧縮がすべてのCPUを使い果たしてしまいます。パフォーマンスが向上します。それは私の期待を満たしていませんでした。私が使用していますコマンド： tar -cf - lager-dir | pigz > des

0熱

1答えて

大量の.ascファイルを読み込み、行を削除してラスターとして保存します。

多数の.asc-filesを読み込み、行を削除し、ラスタースタックに変換する必要があります。stack()。 ZIPで圧縮されたデータのソースは、ここにあります：ftp://ftp.dwd.de/pub/CDC/grids_germany/monthly/radiation_global/ 私はすでにファイルを解凍しました。しかし、今、私は本当に遅いです。このコードを書いた、私のコンピュータはそれ

0熱

1答えて

off_tとc99の定義

私はWindowsからLinuxにいくつかのコードを移植しようとしていますが、大きなファイルのサポートには問題があります。 off_tはgccが-std = c89で実行され、-std = c99では実行されないときに定義されているようです。些細なテストケースがコンパイルされません。 #define _LARGEFILE_SOURCE #define _LARGEFILE64_SOURCE #