hadoop

0熱

1答えて

私は複数の結合を持つSQLを持っています。 2017-12-28 05:15:53,140 Map 1: 15/15 Map 6: 9/9 Map 7: 29/29 Map 8: 198(+2)/200 Map 9: 1/1 Reducer 2: 1/1 Reducer 3: 0(+1)/1 Reducer 4: 0(+3)/3 Reducer 5: 0(+11)/11 上記は、過去数時間にわ

0熱

1答えて

3.0.0のmapred-site.xml.templateファイルがありません

Oracle仮想ボックス5.1とubuntuを使用してWindowsラップトップに擬似分散ノードHadoopクラスタをインストールしています。私はすでにバージョン3.0.0をミラーサイトからダウンロードしました。私はmapred-site.xml.templateファイルは、このリリースに含まれていないディレクトリ/usr/share/hadoop/etc/hadoop にコマンドを sudo c

-3熱

1答えて

データフレームを比較するpyspark intersection（）関数

以下は、2つのデータフレームを比較し、交差関数を適用するために書いたコードです。 import os from pyspark import SparkContext sc = SparkContext("local", "Simple App") from pyspark.sql import SQLContext, Row sqlContext = SQLContext(sc) fr

0熱

1答えて

のMapReduceとHDFSブロックサイズ

私が読んで：あなたは内のノードよりも少ない数が少なすぎるタスクを（持っている場合のMapReduceで地図タスクは、通常その、一度に一つのブロックを操作しますクラスタ）、あなたのジョブはそうでない場合よりも遅く実行されますこの文は、HDFSブロックサイズについての段落にありますが、その意味を理解していません。私を助けることができますか？

0熱

1答えて

Hadoop fs -lsは、hdfsボリュームのファイルではなく、現在の作業ディレクトリのファイルを出力します。

OpenSuse Tumbleweed 20170703でHadoop 2.8.2で単一の擬似分散ノード（localhost）をセットアップしました。Javaバージョンは1.8.0_151です。一般的に、それは正しく設定されているようです。私はエラーなしなどとnamenodeの書式を設定でき私がしようとしたときしかし、現在の作業ディレクトリからhadoop fs -ls、ファイル/ディレクトリが

0熱

1答えて

ハドープスナップファイルの復号化

HDFSからスナップファイルを解読する際に問題が発生しています。 hadoop fs -textを使用すると、ファイルを解凍して出力することができます。私は snappy.UncompressError: Error while decompressing: invalid input を取得hadoop fs -copyToLocalを使用してのpython-てきぱきとファイルを解凍しようとした

0熱

4答えて

S3でHive外部テーブルを作成すると、 "org.apache.hadoop.fs.s3a.S3AFileSystem not found"例外が発生します。例外

ローカルマシンでbelineを使用してDDLより下で実行していて、例外がスローされます。 DDLが CREATE TABLE `report_landing_pages`( `google_account_id` string COMMENT 'from deserializer', `ga_view_id` string COMMENT 'from deserializer'

0熱

1答えて

私はNoSuchMethodErrorを修正するにはどうすればよい：私はhadoop.Iにプロジェクトを1D文字列array.its名は「言葉」.I</p> <p>がしたいですしている書いているorg.apache.hadoop.mapred.InputSplit.write

減速機に送信するが、私はこのエラーが表示されます： Exception in thread "main" java.lang.NoSuchMethodError:org.apache.hadoop.mapred .InputSplit.write(Ljava/io/DataOutput;)V どうすればよいですか？誰でも手伝ってもらえますか？これは私のマッパーである：私はhadoopmap

1熱

1答えて

HDFSからのテキストファイルの読み取りと印刷

この短いコードは、Hadoopファイルシステム（HDFS）のテキストファイルからlibhdfsを使用してバイトを読み取ります。コンパイルして正常に動作します。私は今テキストファイルの内容を読むことができるようにコードを変更しようとしています。（ char buffer[MAXBUFLEN+1] = {}; は、最大バッファ長を渡し：あなたはあなたのバッファをこのように初期化する必要があります