orc

0熱

1答えて

スパーク出力操作が登録されていないので実行する必要はありませんが、ファイルに書き込みしています

val sc = new SparkContext(conf) val streamContext = new StreamingContext(sc, Seconds(1)) val log = Logger.getLogger("sqsLog") val sqs = streamContext.receiverStream(new SQSReceiver("queue")

0熱

1答えて

TEZを使用してハイブORCテーブルにデータを挿入する際に小さなファイルを作成する方法

私はいくつかのオプションを試しましたが、小さなファイルを以下のような大きなファイルにマージする設定を見ただけです。サイズ150kb。 set hive.merge.tezfiles=true; set hive.merge.smallfiles.avgsize=128000; set hive.merge.size.per.task=128000;

0熱

1答えて

Java：ファイルからJSONを読み込み、ORCに変換してファイルに書き込む

JSONからORCへの変換プロセスを自動化する必要があります。 JsonReaderがマップタイプとthrows an exceptionを処理しない点を除いて、私はApacheのORC-toolsパッケージを使用してほぼそこに到達することができました。したがって、以下は動作しますが、マップタイプは処理されません。 Path hadoopInputPath = new Path(input);

0熱

1答えて

複数のキーに対するスパークorcパーティショニング戦略

トランザクションを格納するときに、さまざまなユースケースに対してクエリをフィルタリングするためのキーが異なることがよくあります。例えば。私は、トランザクションを集約する場合が今 jdbcDF.write.format("orc").partitionBy("TX_Date").save("transactions") Iは、特定の数ヶ月のためにすぐに集計取引は、しかし、どのようなベースの可能性

1熱

2答えて

シリアライザを指定するORCが機能しない

HDQにSqoopを使用してインポートされたデータがあります。データはORCとしてインポートされ、圧縮はスナッピーです。私はこのデータの上に次のDDLステートメントでテーブルを作成しようとしています。しかし、私は次のエラーが発生しています。 SemanticException [エラー10043]：列のいずれかのリストまたはカスタム・シリアライザがを指定する必要がありますしかし、私はROW

1熱

1答えて

PHPコードからORCファイルまたはParquetファイルを作成するには？

PrestoクエリのORCまたはパーケット形式のPHPアプリケーションからカスタムデータファイルを書き込むために使用できるライブラリはありますか？この場合のベストプラクティスは何ですか？うまくいけば、Map Reduceクラスタの設定を必要としないでしょう。 10倍 - ニール

0熱

2答えて

Hiveに重複行が挿入されないようにする方法はありますか？

私はORCテーブルを持っています。私は次のようにいくつかの他のテーブルからのデータを使用して移入： INSERT INTO TABLE orc_table_name SELECT * FROM other_table_name は、私はORC表に重複したエントリの挿入を防ぐことができます方法はありますか？

0熱

1答えて

HIVE非常に長いフィールドはOOMヒープを与えます

HIVEテーブルの長さが小さい（数KB）から非常に長い（< 400MB）ストリングフィールドを格納しています。現在、私たちは本番環境で実行しているものではないが、（条件や結合なしで）ある表から別の表にデータをコピーするときにOOMの問題に直面していますが、この問題が発生する最も単純な使用例です。だから、HQLは、基本的には次のとおりです。 INSERT INTO new_table SELECT

2熱

1答えて

jsonからorcへのデータ保存に関するApacheの問題点

NIFI jsontoavro-> avrotoorc-> puthdfsを使用しています。しかし、次の問題に直面している。 1）単一のORCファイルがHDFSに保存されています。私は圧縮を使用していません。 2）これらのファイルにアクセスしようとすると、バッファメモリのようなエラーが出ます。ありがとうございました。

1熱

1答えて

NiFi PutHiveStreamingプロセッサ（ハイブ付）：エンドポイントへの接続に失敗しました

Nifi 1.3.0とHiveでは、誰かがこの問題を解決するのに役立ちます。私はハイブ1.2とハイブ2.1.1で同じエラーが発生します。ハイブテーブルは、パーティクルド,バケットであり、ORCの形式で格納されています。パーティションがhdfs上に作成されましたが、書き込みステージでデータが失敗しました。以下のようにログを確認してください： [5:07 AM] papesdiop: Failed