hadoop

0熱

1答えて

書き込みによってHDFSで作成されたファイルには、独自の命名規則があります。カスタム名に変更するには、スクリプトを使用したオプションがあります。hadoop fs -mv oldname newname 作成したファイルにカスタム名を付けるために、Spark/Hadoopで利用可能な他のオプションはありますか？

0熱

2答えて

sparkで既存のHIVE物語にcsvファイルをロードする

以下は、RDBMSに接続してテンポラリテーブルを作成し、そのテンポラリテーブルでSQLクエリを実行し、SQLクエリ出力を.csvフォーマットに保存するために書いたコードですスルーdatabricksモジュール。私はコードを実行した後 HIVE.DBは、既存のHIVEデータベース HIVE.TBLある from pyspark import SparkContext sc = SparkConte

0熱

1答えて

擬似分散モードでインストールされたHadoopでNutchを実行する方法

私はNutch 1.13を自分のUbuntuにインストールしました。私はスタンドアロンモードでクロールを実行できます。それは正常に実行され、希望の結果を生成するが、私は今どのようにhadoopでそれを実行するか分からない？私はHadoopを擬似分散モードでインストールし、HadoopでNutchのクロールを行い、それを監視したいと考えています。どうしたらいいですか？スタンドアロンモードで実行するた

0熱

1答えて

スパークコーディネーターで時間指定されたスパークジョブの特定の時間を取得する方法

私のコーディネーターが期待どおりに機能していないのに気がつきました。 2つのスパークジョブをそれぞれ実行して、2番目のジョブを最初のジョブの扶養者にしたいと考えています。私は毎時_SUCCESSファイルを生産する最初の仕事を完了しました。問題は、2番目のジョブが依存関係を見つけるときに間違っていることです。HOUR。実行時の時刻ではなく、常に00が表示されます。ここは、第2のジョブの依存 <da

0熱

1答えて

UDFからHiveでカウンタを使用する方法を提供

UDF/UDAF/UDTF用にHiveでユーザー定義のカウンタを追加する方法はありますか？はいある

0熱

1答えて

なぜhave-env.shファイルに$ HADOOP_HOMEを設定する必要があるのですか？.bashrcファイルに既に設定されています

hive-env.shファイルに$ HADOOP_HOME変数を設定した理由を教えてくださいすでにhadoop設定中に.bashrcファイルで設定されています。

0熱

1答えて

できないがsqoop私はClouderaのマネージャーからsqoopをアンインストールし

UbuntuマシンにCDH5かかわらインストールアンインストールするために、私はまだ端子を介してsqoopバージョンを参照してください。実行しているClouderaのマネージャサービスを取り付ける [email protected]:~$ sqoop version Warning: /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/bin/..

0熱

1答えて

ハイブクエリをCSVにエクスポート

ハイブからローカルCSVにクエリをエクスポートしようとしています。この同じエラーが続く、どんな助けも大いに評価されるでしょう！コマンド： insert overwrite local directory '/path/to/directory' row format delimited fields terminated by ',' select * from table limit 10;

1熱

1答えて

Selectステートメントは、私が質問のこのタイプは、何度も尋ねたが、これらのソリューションは、私のために働いていない見てきましたヌル値

で一部の列を返します。私はデータがマップ専用のジョブ出力から得たので、外部のハイブテーブルを作成しました。次に、特定のファイルのパスを指定してコマンドをロードします。それは大丈夫だった。しかし、私がselect * from tableコマンドを実行すると、null値を持つ列が返されます。私が実行した各コマンドは、エラーpicにあります。ファイル内私の区切り文字は||あるので、私はあまりにもta

0熱

1答えて

JavaPairRDDの相違点

私は2つの異なるJavaPairRddをKey1、value、もう1つはkey2、valueを持っています。達成しようとしているのはそれらをマージすることですが、同じ値を持つアイテムだけを取得します。は、私は、次の試してみました：国、値とfilteredsmallRddが含まれています：キー：ID、値をfilteredRddキーが含まれてい JavaPairRDD<String, String>