hadoop

0熱

2答えて

OracleストアドプロシージャをSqoopから呼び出したいのですが、エラーが表示されます。私はストアドプロシージャの関数を呼び出す必要があり、パラメータを渡す必要があります。 $: sqoop import --connect jdbc:oracle:thin:@localhost:1512/db --username userA --password password --call Oracl

2熱

2答えて

書き込みRDDデータ - スカラ

私はHDFSディレクトリから複数のファイルを読んでいて、ファイルごとに生成されたデータを使用して印刷されます。 frequencies.foreach(x => println(x._1 + ": "+x._2)) そして、印刷データ（のためでありますFILE1.TXT）：： 'text': 45 'data': 100 'push': 150 キー（FILE2.TXT）のような他の

0熱

2答えて

FAILED：SemanticException [エラー10014]：行1:21間違った引数 'stock_price_high'：

私はHiveを初めて使用しており、HiveコマンドラインでUDFを作成して使用しようとしています。サンプルNYSEデータセットに基づいて株の共分散を計算するJavaコードを作成しました。以下は、Javaでコードです： package udf; import org.apache.hadoop.hive.ql.exec.UDF; public class CoVariance extend

2熱

2答えて

ハイブテーブル内のデータの配列を別々の行にインポートするにはどうすればよいですか？

私は、このような複数のファイルを持っていると私はそれぞれ{}テーブル内の1つの列を形成するようにしたいハイブテーブルに [ { "identifier" : "id#1", "dataA" : "dataA#1" }, { "identifier" : "id#2", "dataA" : "dataA#2" }

0熱

3答えて

デフォルトでHDFSに書き込むようにpysparkを設定するにはどうすればよいですか？

私は、デフォルトでHDFSへの書き込み書き込みをしようとしています。現在、RDDでsaveAsTextFileを呼び出すと、ローカルのファイルシステムに書き込まれます。具体的には、私がこれを行う場合： rdd = sc.parallelize([1,2,3,4,5]) rdd.saveAsTextFile("/tmp/sample") これは/ tmp/sampleと呼ばれる私のローカルファ

0熱

1答えて

ハイブパーティション化された列がsc.textFile経由でrddに表示されない

ハイブパーティション化された列は、保存されたデータの一部ではないため、RDDにロードされるsc.textFile(filePath)構文でどのように引き出すことができるかを知る必要があります。ハイブコンテキストを作成するもう1つの方法を知っていますが、sc.textFile(filePath)という構文で直接取得して使用する方法があるのだろうかと疑問に思っていました。

1熱

1答えて

マップタスクをhadoopのコードから明示的に終了することはできますか？

マップタスクですべての入力レコードをトラバースする必要がない場合があります。たとえば、私は各マッパーで特定の条件を満たすレコードを最大200個まで出力し、その後終了することができます。ハープアウトでこれを行うことはできますか？関連するメソッドがまだapi docに見つかりません。

-3熱

2答えて

pythonでmapreduce用のプログラムを試していて、助けが必要

もっと実践的な体験を得るために、プロジェクトの単語数を試したかったのです。ここに私が持っているサンプルデータがあります。国際連合（UN）は、国際協力を促進するために1945年10月24日に設立された政府間組織です。 A 無効なリーグオブリジョンの代わりに、団体は第二次世界大戦後に別のそのような紛争を防ぐために作成されました。 [...] と私はまた、Pythonの2 [[email pro

0熱

1答えて

Hadoopと電子商取引ポータルの統合

新しいeコマースポータルをJava Restサービスを使用してゼロから構築しています。現在、MySQLを使用する予定です（現在は将来的にはOracle）。 ElasticSearchも使用しています。私たちはマイクロポータルとしてこのポータル全体を構築しています。私の質問は、最初から（ハープとHDFSの統合のような）分析を担当する必要がありますか？

1熱

2答えて

NameNode：Windows 7でnamenodeを開始できませんでした

WindowsマシンにHadoopをインストールしようとしていますが、中には以下のエラーがあります。ログ 17/11/28 16:31:48 ERROR namenode.NameNode: Failed to start namenode. java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windo