parquet

1熱

1答えて

私は、Java APIを使用してParquetを作成し、HDFSと同期しています。私は寄せ木ファイルを取得し、viでそれを読んだとき、私はのような多くの奇妙なシンボルを参照してください。 ^U^B^U^@^U^H^U^H^\^X^H^A^@^@^@^@^@^@^@^X^H^A^@^@^@^@^@^@^@^V^@^@^@^@^A^@^@^@^@^@^@^@^U^@^U 私はこれらをどのように解

0熱

1答えて

寄木細工へのスパークジョブの書き込み - 物理メモリが増え続けるコンテナを持っています

私はkafkaトピックから読み込み、寄木張りの形式でhdfsにデータを書き込むスパークストリーミングアプリケーションを持っています。時間（非常に短い時間）の間、コンテナの物理メモリは最大サイズに達し、物理メモリの限界を超えて "Diagnostics：Container [pid = 29328、containerID = container_e42_1512395822750_0026_02_

1熱

1答えて

寄せ集め形式を使用すると、DataFrameスキーマが保存されますか？

df.write.parquet(destination)を呼び出した場合、DataFrameスキーマ（つまりStructType情報）がデータとともに保存されていますか？ ParquetファイルがSpark以外の他のプログラムによって生成された場合、sqlContext.read.parquetはどのようにDataFrameのスキーマを把握しますか？

1熱

1答えて

s3-dist-cpを使用して寄せ木細工のファイルをマージする

s3-dist-cpツールを使用して寄木細工のファイル（スナッピー圧縮）をマージすることが可能かどうか疑問に思うだけです。私は "--groupBy"と " - targetSize"オプションを試して、小さなファイルを大きなファイルにマージしました。しかし、私はSparkやAWS Athenaでそれらを読むことはできません。すべてのヘルプは高く評価され HIVE_CURSOR_ERROR: Ex

0熱

1答えて

PySpark：パーティション分割せずに出力ファイルを別々のファイルに書き込む

非常に大きなgzipファイルがあります。私はPySparkを使用して、後で使用するためにParquet形式のS3にあるすべてのファイルを再保存しようとしています。単一ファイルの場合は（例では、2012年6月1日）は私が行います dataframe = spark.read.csv('s3://mybucket/input/20120601.gz', schema=my_schema, heade

0熱

1答えて

Spark parquet s3エラー：AmazonS3Exception：ステータスコード：403、AWSサービス：Amazon S3、AWSリクエストID：xxxxx、AWSエラーコード：null

AWS S3に存在する寄木細工ファイルを読み込もうとしています。エラー。 17/12/19 11:27:40 DEBUG DAGScheduler: ShuffleMapTask finished on 0 17/12/19 11:27:40 DEBUG DAGScheduler: submitStage(ResultStage 2) 17/12/19 11:27:40 DEBUG DAGSc

2熱

2答えて

Flink 1.3.2から1.4.0へのアップグレードhadoop FileSystemとPathの問題

最近Flink 1.3.2から1.4.0へのアップグレードを試みましたが、もうorg.apache.hadoop.fs.{FileSystem, Path}をインポートできない問題があります。問題は、2つの場所で発生している： ParquetWriter： import org.apache.avro.Schema import org.apache.avro.generic.GenericRe

1熱

1答えて

pyarrowで区切られた寄木細工のデータセットから特定の区画を読み取る

私は、寄木細工の形式でやや大きな（約20 GB）パーティションデータセットを持っています。 pyarrowを使用して、データセットから特定のパーティションを読みたいと思います。私はpyarrow.parquet.ParquetDatasetでこれを達成できると思ったが、それはそうではないようだ。ここに、私が欲しいものを説明するための小さな例があります。ランダムデータセットを作成するには：私は、パ

1熱

1答えて

AttributeError：LooseVersionインスタンスに属性 'version'がありません

私は、寄木細工のタイプのファイルを読み込み、それをpandasデータフレームに変換するpythonプログラムに取り組んでいます。それは私がPythonのコマンド（python framework1.py arg1 arg2）を実行するために使用している間、うまく動作します。しかし、pyinstallerを使用して実行可能ファイルに変換した後、実行ファイルが実行されると、次のエラーが発生します。事前

1熱

1答えて

Zeppelinが「不一致の入力」で失敗するのはなぜですか？ <EOF> "％spark.sqlの段落で期待していますか？

私はcsvから寄木細工のファイルを作りました。 mismatched input ';' expecting <EOF>(line 1, pos 23) == SQL == DROP TABLE IF EXISTS df; -----------------------^^^ CREATE TABLE df ( date_time STRING , site_name S