2
スパークジョブの結果、1億件のレコードがHBaseテーブル（PHOENIX）に挿入されています。ジョシュMahoninPHOENIX SPARK - BulkLoad用のDataFrame
：私はよりそれが
A
答えて
2
フェニックスHBaseのテーブルにデータを書き込むための効率的な方法ではありません、それはバルクロード（または）を行います、私はデータフレームに変換し、それを保存かどうかを知りたいです日付：水曜日、2016年5月18日午前10時29分PMに
件名：再：PHOENIX SPARK - へのバルクロード
ためDATAFRAME：[email protected]
こんにちは、
SparkインテグレーションはPhoenix MapReduceフレームワークを使用します。このフレームワークでは、それらを複数のワーカーに分散されたUPSERTに変換します。
両方の方法を試してみて、どちらがユースケースに最適かを確認する必要があります。価値のあるものについては、これらのデータサイズでのSparkの統合を使用して、ロード/セーブ操作を定期的に行います。
関連する問題
- 1. Phoenix Spark Plugin
- 2. Phoenix/SparkでDataFrameを読み込めません
- 3. Apache phoenix 4.5.1 with spark 1.3.1 Classnotfoundexception
- 4. Spark DataFrame groupBy
- 5. Spark DataFrame mapPartitions
- 6. Spark DataFrame vs sqlContext
- 7. Spark scala Dataframe isin
- 8. Spark Dataframe loosing Partition
- 9. Spark Implicit $ for DataFrame
- 10. SparkのTimestampType DataFrame- Scala
- 11. Spark DataFrame（RDD）のメタデータ
- 12. フィルタSpark DataFrame別のDataFrameのキーワードを使用
- 13. Spark/Scala：構造体タイプのSpark DataFrame列
- 14. Spark dataframe explode関数
- 15. Spark Dataframe String in Word
- 16. Spark DataFrame Cache Large TempTable
- 17. spark dataframe計算カラム
- 18. Spark DataFrame UDFパーティショニング列
- 19. Spark SQL DataFrame pretty print
- 20. パイプラインのSpark DataframeのOneHotEncoder
- 21. Spark DataFrameでna.fillを使用するScala
- 22. TIMESTAMP（3）列のSpark JDBC DataFrame
- 23. Spark Dataframe/Parquetの列挙型
- 24. Apache SparkでJavaのApache Phoenixを読み書きする方法
- 25. Spark write DataFrame out jdbcエラー
- 26. spark dataframe trim columnとconvert
- 27. spark filter column from dataframe from collection
- 28. Spark SQL DataFrame - 例外処理
- 29. Spark Dataframe最大カラム数
- 30. Spark StreamでDataFrameを作成