hadoop

0熱

1答えて

は例外コピーファイルに失敗しました：apacheのハイブにコピー先ディレクトリを作成/

を確認中にエラー私はtxtファイルから hive> LOAD DATA LOCAL INPATH '/home/abp/sample.txt' INTO TABLE employee; をデータをロードしていたとき、私は成功し、それがエラーを与えるのapache hive.Butを実行した例外が発生して失敗しました。copyFiles：宛先ディレクトリの確認/作成中にエラーが発生しました。 FA

1熱

1答えて

実行時にHadoopのユーザー名を変更すると動作しません。

少しHadoopクライアントJavaアプリケーションを作成しました。これは、HDFS（非セキュア）のすべてのファイルとHiveのすべてのテーブルといくつかのものをリストします。しかし、実行時にHadoopのユーザー名を変更する必要があります。 System.setProperty("HADOOP_USER_NAME", "testuser");で名前を設定すると、初めてこのユーザー名が必要になりま

0熱

1答えて

Apache PigをHbaseテーブルに使用してデータを読み込む際に、行のcsvファイルまたはtextファイルにデータがない（空白だけの）列を除外する方法はありますか？

は、次のように今、私は、テキストファイルを持って、私は列ファミリなどのデータをCUSTOMER_TABLEと呼ばれるテーブルを持って考えてみましょう： custno,firstname,lastname,age,profession （これらは列の名前であり、テキストまたはCSVファイルに存在しない） 1,John,Wright,54,Coach 2,Luke,,20,Student 3,Mi

0熱

1答えて

Hive-beelineの履歴ファイルの場所を変更するには

私はHIVEサーバーに接続するためにビーラインを使用しています。ログインユーザーは、デフォルトのHOMEディレクトリにアクセスできません。ログイン後、手動でENV VAR HOMEを私がアクセスできる場所に変更しています。しかし、beelineは私が設定したHOME ENV変数を尊重していません。私は/home/{user}/.beelineここ

0熱

1答えて

Hadoop map side join条件付きタスク

私はハイブマップの結合を学習しており、条件付きタスクに遭遇しました。条件付きタスクに関する以下の質問があります。ハイドープマップ結合の条件付きタスクとは何ですか？条件付きタスクは、マップ結合の小さなテーブルの識別にどのように役立ちますか？次ハイブのプロパティとその意義セットhive.auto.convert.join.noconditionaltask.sizeの違いは何ですか。セットh

0熱

1答えて

mapreduceでマッパーが出力キー値をネットワーク経由でレデューサーに直接送信しないのはなぜですか？

マッパーは、データをレデューサーにシャッフルする前に出力をノードのローカルディスクに書き込むことがわかります。しかし、なぜ彼らは対応するレデューサーに直接データを送信できないのですか（オンザフライでシャッフル）、レデューサーはその並べ替えと休憩をします。私は地元の店で何が良いか考えてきました。最初のデータはディスクに保存されますが、1つのマッパーが失敗しても、すでに保持されている中間のキー値はク

2熱

1答えて

DNS inconsistent

MAPRクラスタを作成しようとしていますが、ナットにはDNS inconsistent warningがあります。私は自分の/ etc/hostsファイルを編集しました。 10.0.0.10 master.aptus.com 10.0.0.20 slave1.aptus.com 10.0.0.30 slave2.aptus.com これらのシステムはクラスタの構築に貢献します。 host

-1熱

1答えて

リモートHDFSを接続する前にNifiでエラーが発生しました

GetHDFSでファイルを転送してNIFIにフローを作成しています。 NIFIのインストールはローカルインストールであり、HadoopインスタンスはIBM Cloud（BlueMix - BigInsight）にあります。ポート8020への接続タイムアウトが発生しています。設定用のhive-site.xml、core-site.xmlをダウンロードしました。 NIFIは同じネットワーク上に存在

0熱

2答えて

ダイナミック列でハイブに挿入

列が動的な場所にファイルがあります。はFile1は column1 column2 column3 column4 column5 column6 column7 File2のは column1 column2 column9 column10 column11 column12 column13 FILE3が column1 column2 column3 column10 colum

0熱

2答えて

Apache Nutch 2.3をカスタマイズする方法

Nutchは自分のルールに従って特定のURLを選択します。このステップは、生成時に実行されます。私はパーサ/インデクサプラグインを書く方法を知っています。しかし、生成時にそれを行う方法。私のNutchのバージョンは2.3シリーズです