parquet

1熱

1答えて

私はS3ファイルでparquetを生成しようとしています。これは、prestoを後で寄木細工からクエリする目的でsparkを使用しています。基本的には、 Kafka-->Spark-->Parquet<--Presto は私がスパークし、その作業罰金を使用してS3に寄木細工を生成することが可能です、それがどのように見えるかあります。今、私はプレストを見ています。私が見つけたと思うのは、パーケットか

4熱

2答えて

Spark 2.1で分割された寄木細工ファイルを保存する方法は？

私は、Spark 2.1を使用してHDFS 2.7にデータを書き込む方法をテストしようとしています。私のデータはダミー値のシンプルなシーケンスで、出力は属性：idとのキーで分割する必要があります。私はHDFSに次のツリー構造を取得するために期待してい // Simple case class to cast the data case class SimpleTest(id:String, v

0熱

1答えて

私は、以下のディレクトリのように寄木細工のファイル内のデータを持っているApacheのスパーク

での入力の同様の経路のように出力を書き込み input/data/id1/files input/data/id2/files input/data/id3/files どのように私は、フォルダ名として、各IDでこれらのデータを読みますか。読み込みといくつかの処理を行った後、どのように入力パスと同じようなパスに出力を保存しますか？ /outout/data/id1/outputpaeque

2熱

1答えて

Apache Spark Parquet：空のグループを作成できません

私はApache Spark 2.1.1を使用しています（2.1.0を使用していました。私はデータセットを持っている：あなたが見ることができるように、このスキーマでは3つの空の構造体がある root |-- muons: array (nullable = true) | |-- element: struct (containsNull = true) | | |-- reco::Can

1熱

2答えて

Hive LLAPは寄木張りの書式では機能しません

finding out Hive LLAPの後、私は本当にそれを使いたいです。 LLAPを有効にしてAzure HDinsightクラスタを開始しました。しかし、それは正常なハイブよりもうまくいくとは思われません。私は寄木細工のファイルに保存されたデータを持っています。 LLAP関連のドキュメントや会話で言及されているORCファイルのみが表示されます。寄木張りの形式もサポートしていますか？

1熱

1答えて

Pyarrowを使用して.parquetファイルをCSVに変換する

私は.parquetファイルを持っており、PyArrowを使用しています。私は、次のコードを使用してテーブルに.parquetファイルを変換：table.shapeを実行 import pyarrow.parquet as pq import pandas as pd filepath = "xxx" # This contains the exact location of the fil

0熱

1答えて

Kafka Connectからの寄木張り出力

私はKafka ConnectがAvroまたはJSON形式でS3に書き込むことができます。しかし、寄木張りのサポートはありません。これを追加するのはどれくらい難しいでしょうか？

1熱

1答えて

fastparquet：rleのエンコードを無効にする方法

私は、ファーストパラレルを使用して、パンダのデータフレームをパーケットファイルに変換しています。 pysparkを使っていた以前のアプローチよりもはるかに高速です。私は私が解決するために管理いくつかの問題を持っていた、すなわち sqlCtx.read.parquet('/tmp/parquet/test.parquet') 火花を使用して、これらの寄木細工のファイルを読みたいです。私が今問題

0熱

1答えて

ApacheでオーロラからS3にデータを移行する最も簡単な方法ORCまたはApache Parquet

アテナは素敵です。これを使用するには、私たちの規模をより安く、より効果的にする必要があります。これは、データをORCまたはパーケット形式で保存することを意味します。オーロラデータベース全体をS3に移行し、それらの形式に変換する最も簡単な方法は何ですか？ DMSとデータパイプラインがありますマイナス変換ステップは...

1熱

1答えて

構内SQLサーバーデータベースのデータを寄木張り形式のAzureにコピー

アーキテクチャ/ perf質問がここにあります。私は約10TBの〜200TBのテーブルを持つ、構内SQLサーバーデータベースを持っています。 HDInsight Sparkによるデータサイエンス分析のために、このデータをAzure in Parquet形式で利用可能にする必要があります。このデータをParquet形式のAzure（Blob storageまたはData Lake）にコピー/変換