1
で2.7ギガバイトのデータを読んでいますこの段階で2 t0分を処理して処理します。誰も私にデータを高速に読み取るために、より多くのパーティションを増やす方法を教えてもらえますか？は私が火花1.4を使用していますが、私は2.7ギガバイトのデータを読み取るためにsc.newAPIHadoopRDDを使用してのHBaseからデータを読み取るしようとしていますが、5タスクがあるがために作成されている5つのパーティション
A
答えて
0
org.apache.hadoop.hbase.mapreduce.TableInputFormatは、領域ごとにパーティションを作成します。あなたのテーブルは5つの地域に分割されているようです。テーブルを分割すると分割数が増えます（スプリットの詳細についてはhereをご覧ください）。
関連する問題
- 1. QWebPageが使用しているQNetworkReplyからデータを読み取る方法は？
- 2. は私がやるPOIとJavaを使用してExcelファイルから列を読み取るためにPOI
- 3. glMapBufferRangeは、コンピュートシェーダを使用して、データの集合を生成し、シェーダストレージバッファに格納した後、私は、コードを使用してデータをプリントアウトするために、そのバッファから読み取るしようとしていますOpenGLのドライバ
- 4. UsbLibDotNetTest例を書いて、USBに\から読み取るしようとしている私のため
- 5. タスク<String>は私がキャッシュから以前に保存したオブジェクトを読み取るためのコード行を使用しています
- 6. どのように私は、タグを読み取るためにアプリを作成していますアンドロイドスタジオ
- 7. Spark Streamingを使用してKafkaからbinlogデータを読み取るときに "ClassNotFoundException"が発生しました
- 8. ロングランニングの火花がスパークを使用して、私はスクリプトを実行しようとしています仕事
- 9. Javaを使用してmongodbからblob（バイナリ）データを読み取る際にエラーが発生しました。
- 10. DataReaderが、私はangularjsとMVC-5を使用しています
- 11. NSManagedObjectContextを使用してデータを読み取ることができません
- 12. 方法は、私は電卓アプリを作るためにしようとしていますが、私はオーバーライドのためのエラーを取得しています
- 13. SparkでGetコマンドを使用してHbaseからデータを読み取る
- 14. JAVAでSparkを使用してHBaseからデータを読み取る
- 15. 3私はPyQtGraphを使用してデータをプロットしたいのPython 3</p> <p>でPySerialを使用してArduinoのセンサーからデータを読み取るためのPythonを使用していますので、私がしようとしています
- 16. excelsheetを解析するためにXLSXを使用している場合 - それは投げている_fs私はexcelsheetからデータを読み出すためにXLSXライブラリを使用しようとしています
- 17. 私は、メソッドPOSTで私のPHPファイルにデータ（valeurDept）を送信しようとしているが、私は価値があると戻っていたものにチェックするとき、私のトピック</p> <p>を読み取るため
- 18. Javaを使用してExcelシートを読み取っているときにエラーが発生しました
- 19. Qt Creatorを使用してrosbagファイルを読み取っているときにエラーが発生しました
- 20. は、私が使用している（[セイ工程A]読み取りが他のいくつかのプロセスを実行するために停止され、それがテキストファイル内の特定の領域に到達したときに、FileInputStreamのを使用してテキストファイルからいくつかのデータを読んだ最後の左
- 21. チタンアンドロイドモジュールはTi.Databaseを使用して作成したデータベースを読み取ることができますか？
- 22. C＃のは、私はデータベース（火の鳥）に新しいデータを渡すために使用するコードがあり
- 23. 最初の列名は、私はread_csvを使用してCSVファイルからデータを読み取るために、次のコードを使用してCSV
- 24. ラムダを使用してS3からデータを読み取る
- 25. Microsoft.Office.Interop.Excelを使用してExcel 2010からデータを読み取る
- 26. コマンドラインを使用してファイルからデータを読み取るJava
- 27. Qtを使用してイーサネットポートからデータを読み取る
- 28. ajaxを使用してファイルからデータを読み取る
- 29. nanoを使用してビューからデータを読み取る
- 30. TCPを使用してCOMポートからデータを読み取る
タスク（またはパーティション）の数は、使用されるinputFormatに依存します。だから、標準的な入力形式では増やすことはできないようです。新しいspark-on-hbaseまたはhbaseコネクタパッケージを試すことができます –