mongodb-hadoop

1熱

1答えて

wikiサイトで提供されているドライバ（jars）を使用して、ハイブデータベースからMongoDBのコレクションに接続しようとしています。ここで私がやった手順は以下のとおりです。 - ：私はHadoopのMongoDBの経由ハイブから接続したい私はMongoDBの中のコレクションは、「萌え」と呼ばれるデータベースの下に「ダイヤモンド」と呼ばれると、それは20件の文書を持って作成されましたドライバ

2熱

1答えて

Mongo-Hadoopコネクタ（Spark用）で文書（レコード）を削除する方法

Mongo-Hadoopコネクタを使用してSparkとMongoDBで作業しています.Rong内の文書をMongoDBから削除したい、MongoUpdateWritableサポート文書の更新。 Mongo-Hadoopコネクタを削除する方法はありますか？おかげ

0熱

1答えて

mongodbからハイブにサブ文書データの配列をロードする方法

mongodbデータをハイブで使用しようとしています。文書にサブ文書の配列があります。どのようにして複合データをハイブにロードできますか？ここでは、サンプルJSONは次のとおりです。 { "_id" : ObjectId("582c8cb9913e2f21e062aaa6"), "acct" : NumberLong(12345), "history" : [

0熱

1答えて

mongo-hadoopパッケージupsertとsparkが動作していないようです

MongoDB Connector for HashopをSparkと共に使用して、MongoDBの1つのコレクションを照会し、取り出されたすべてのドキュメントを別のコレクションにアップアップしようとしています。 MongoUpdateWritableクラスは、MongoDBのコレクションを更新するRDDの値に使用され、upsertフラグを持ちます。残念ながら、upsertフラグは実行に影響しない

0熱

1答えて

MongoHadoop Sparkで使用されるコネクタは、パーティション数で結果を複製します。

mongo-hadoopコネクタを使用してデータをsparkに読み込もうとしています。問題は、読み込みデータに関する制限を設定しようとしている場合、RDDにパーティションの数*制限があることです。 mongodbConfig.set("mongo.job.input.format","com.mongodb.hadoop.MongoInputFormat"); mongodbConfig.se

0熱

1答えて

MongoDB Hadoop PIGスクリプトが "未定義パラメータ：gte"をスローする例外

mongodbからhdfsにデータをインポートしています。私は現在、データを読み込むためにPIGスクリプトを使用しています。 3時間ごとにmongodbからデータを取得する必要があります。このためには、mongo.input.queryパラメータを渡す必要があります。しかし、私は java.io.IOException: org.apache.pig.tools.parameters.Param

1熱

1答えて

Sparkタスクがシリアル化できないHadoop-MongoDBコネクタEnron

Hadoop-MongoDB Connector for EnarkのEnronMailの例を実行しようとしています。したがって私はGitHubのJavaコードの例を使用しています： https://github.com/mongodb/mongo-hadoop/blob/master/examples/enron/spark/src/main/java/com/mongodb/spark/ex