Hadoop Streamingを使用して、HBaseでMapReduceジョブを実行することはできますか?または、.NETからHBaseでMapReduceジョブを実行する他の方法はありますか?.NETでのThriftを使用したHbaseのMapReduce?
答えて
これを達成しました。だから、答えはイエスです。
編集
私はなぜダウン票を知らない、質問には答えを持っていますが、次のように私はそれを達成する方法である:
スリフトは、RESTのAPIよりも軽量であり、いくつかのシナリオになりますjava apiよりもパフォーマンスが優れています.Hadoop Streaming APIを使用し、hbaseと通信するためにThriftを使用する独自のMapper実装を提供しています。
bin/hadoop jar contrib/streaming/hadoop-*-streaming.jar -input input/sample.txt -output output -mapper input/StdInOut.exe -reducer NONE
また、REST API(stargate)を使用することもできます。ただし、サーバーやスターゲートサーバーはMapReduceジョブを実行するのには適していません。両方とも、単一の競合ポイントであり、データの局所性を提供しない別個のデーモンプロセスを必要とする。 Java mapreduce apiは、入力分割のデータローカル領域を識別します。したがって、鍵は.NetでJava APIを使用することです。 This questionは、stdin/stdout経由で.NETアプリケーションを使用できるように、hbase用のストリーミングAPIにサードパーティ製の機能強化を提供します。
しかしスリフトはRESTのAPIよりも軽量であり、いくつかのシナリオでのJava APIよりも多くのパフォーマンスを提供します、私はHadoopのストリーミングAPIを使用し、それをHBaseのと通信するために倹約を使用して自分自身のマッパーの実装を与えてきた、私は」擬似分散モードでmapredueジョブを正常に実行できるようになりましたが、今は完全分散モードでテストするつもりです。hbaseがHDFSをデータストアとして使用するため、問題はないはずです。 – Ali
- 1. HBaseフィルタ言語とThriftを使用したPHP
- 2. hbaseのMapreduce
- 3. Hbase mapreduceエラー
- 4. mapreduce、hbase and scan
- 5. MapReduceでHDFSの代わりにHBaseを使用
- 6. HBase Thriftファイル終了例外
- 7. mapreduceジョブ内のランダムアクセスhbaseテーブル
- 8. HBaseからのHadoop mapreduceストリーミング
- 9. アクセスhbaseテーブルfron hadoop mapreduce
- 10. のHBaseがMapReduceのためのシンクとして:org.apache.hadoop.hbase.client.RetriesExhaustedException
- 11. MapReduceとHBaseシェルフィルタを使用する理由
- 12. Pythonとhappybase/ThriftからHbaseに接続
- 13. ポリモデルを使用したmapreduce
- 14. なぜHBaseにバックアップされたHiveテーブルがMapReduceを使用する
- 15. 2つのキーを使用したMapreduce
- 16. 複数のサービスを1つのトランスポートで使用したい(Thrift)
- 17. ThriftとHbase.ThriftでHbase行を更新する
- 18. iPhoneでApache Thriftを使用して成功しましたか?
- 19. Nettyを使用したJavaのFinagle Thriftクライアントサーバーの実装
- 20. サーバのJava&Javascriptクライアントを使用したApache Thriftの配列
- 21. Thrift on HBaseのパフォーマンスベンチマークはありますか?
- 22. ResultSerializationを使用したMultitableInput MapReduce
- 23. MongoDbとMapReduceを使用したGrails
- 24. HBaseでLIMITを使用する方法.Net RESTクライアント
- 25. Amazon MapReduceの使用
- 26. C++のユーザー名/パスワード認証を使用したThrift sasl
- 27. thriftとcassandraを使用したC++プログラムのコンパイル
- 28. のHBaseのMapReduceジョブを実行すると、HBaseConfigurationのNoClassDefFoundError例外
- 29. Apache NiFiを使用したHbaseカウンタ
- 30. Hadoop HBASEを使用したSpring Boot REST
問題の解決策を教えてください。 – usahara
Seconded。それを行うことができます知っていることを知って、知っていることを知って*どのように*それを行うにはまだ良いだろう。ちなみに – jamiet
すごい素晴らしい答えです。 – RanchiRhino