lzo

2熱

1答えて

私はHbaseのLZO圧縮を設定しようとしています。しかし、build.xmlの作成中に問題が発生しています。ログは以下の次のとおりです。 [email protected]:~/omalley-hadoop-gpl-compression-d9deaa2$ sudo ant compile-nativeBuildfile: build.xml ivy-download: [get

0熱

1答えて

c＃：特定のDLLのDLLImportが動作しませんが、サンプルアプリケーションでは動作していますが、どうすれば解決できますか？。指定されたモジュールが見つかりませんでした（例外から：

私は、相対パス private const string LzoDll32Bit = @"lib32\lzo_32.dll"; #region Dll-Imports [DllImport(LzoDll32Bit, EntryPoint = "lzo_version_string")] private static extern IntPtr lzo_versio

-1熱

1答えて

圧縮されたファイルをサーバ間でHadoop HDFSに移動

Hadoop DFSにコピーしたいサーバ上に何百もの大きな圧縮ファイルがあります。私が使用する通常のコマンドは、非圧縮ファイルのために、私は（catは多分意味がないとして）、これは圧縮されたファイルでは動作しませんと仮定してい cat someFile | ssh [email protected] "hadoop dfs -put - /data/someFile" です。最初にファイルを名

2熱

2答えて

lzo.net（メモリ圧縮時）で使用するlzo.dllの最新バージョン

lzo-net（http://lzo-net.sourceforge.net/）用lzo.dllファイルの新しいバージョンを探しています。鉱山は、2004年から最新のファイルは2.0.6（http://www.oberhumer.com/opensource/lzo/download/）でなければなりません。しかし、私は唯一のVisual Studioとコンパイルが動作していない持っています。

3熱

2答えて

少量のデータに対する圧縮アルゴリズム

私は、クライアント用のJSONを生成するサーバー側プログラムを持っています。私の同僚のうちのいくつかは、ワイヤで送信するデータの量を減らすためにzip/gzip圧縮を使用することを提案しました。しかし、私の平均的なJSONメッセージの1つに対してテストされたとき、彼らは実際に送信されるデータ量を両方とも増加させました。私はジッパーが蹴り込まれ、有用であるという異常に大きな応答を送るまでではありませ

1熱

2答えて

python-lzoをインストールする際にファイルが見つかりませんでした

python-lzoをMac OS Sierraにインストールしようとしています。 $ virtualenv ./env $ . ./env/bin/activate $ pip install python-lzo 私に次のように出力できます： Collecting python-lzo Using cached python-lzo-1.11.tar.gz Building

5熱

2答えて

Spark SQL - gzipとスナップとlzoの圧縮形式の違い

parquetファイルを書き込むためにSpark SQLを使用しようとしています。デフォルトでは、Spark SQLはgzipをサポートしていますが、snappyとlzoのような他の圧縮フォーマットもサポートしています。これらの圧縮形式と、Hiveを使用して作業するのに最適な圧縮形式の違いは何ですか。

2熱

1答えて

マップなしでlzo圧縮を使用してhadoop hdfsに書き込む方法

hadoop hdfsに書きます。ファイルはlzoを使用して圧縮する必要があります。また、ファイルはリアルタイムで追加されます。ソースファイルは、hadoopに存在しないgzipファイルです。バッチはこのgzipファイルを処理し、lzo圧縮を行い、hadoopに追加します。これにより、マップの縮小を使用する可能性が排除されますか？これをどのように達成できますか？助けを事前におかげ

2熱

1答えて

未知の圧縮ファイルからデータを抽出する

私はそこから情報を抽出するために必要なバイナリファイルを持っています。圧縮ファイルで、ファイルの最初の3文字はです。zip 私はこのファイルを圧縮するためにLZ SubstitutionやHuffman Codingが使用されていると確信しています。ファイルは、.rarを、.zipファイルやなどとして任意の正規のアーカイブ形式に従っていません。しかし、私は、ファイルが3つの部分を持っているフ

0熱

1答えて

Hadoop lzoインデックス後の単一の分割

私はLZO圧縮ファイル/data/mydata.lzoを持っていますが、私は持っているいくつかのMapReduceコードを使ってこれを実行したいと思います。私が最初に以下のコマンドでhadoop-lzoパッケージを使用してインデックスファイルを作成します。これは、正常 17/01/04 11:06:31 INFO mapreduce.Job: Running job: job_1472572940