ハイブパーティションの仕組みを知りたい私はコンセプトを知っていますが、その仕組みと正確なパーティションの格納方法を理解しようとしています。 私はテーブルを持っていると私はパーティションを作成し、厳密なパーティションに正確なデータを格納する方法ハイブは、2013年から動的な、摂取されたデータ年にパーティションを作成しました。ハイブパーティションの仕組み
0
A
答えて
0
ハイブは、テーブルをパーティションに編成します。これは、日付などの区分された列の値に基づいて、関連する部分に表を分割する方法です。
Partitions
- ストレージユニットとは別に、特定の基準を満たす行を効率的に識別することもできます。
パーティションを使用すると、データの一部を照会するのは簡単です。
テーブルまたはパーティションは、より効率的なクエリに使用できるデータに余分な構造を提供するために、バケットに細分されています。 Bucketingは、表の一部の列のハッシュ関数の値に基づいて動作します。
2012年に加わったすべての従業員の詳細を取得する必要があるとします。クエリによって、テーブル全体で必要な情報が検索されます。ただし、年の従業員データを分割して別のファイルに格納すると、クエリ処理時間が短縮されます。
0
表がパーティション化されていない場合は、すべてのデータが順序なしで1つのディレクトリに格納されます。テーブルが分割されている場合(例えば年ごと)、データは別々のディレクトリに格納されます。各ディレクトリは1年間に対応しています。 パーティション化されていないテーブルの場合、year = 2010のデータをフェッチする場合、ハイブはテーブル全体をスキャンして2010レコードを探し出す必要があります。テーブルが分割されている場合は、year = 2010ディレクトリに移動してください。より高速でIO効率が向上
関連する問題
- 1. iTeleportの仕組み
- 2. Tensorflowの仕組み
- 3. Hibernate.initialize()の仕組み
- 4. ファイルディスクリプタの仕組み
- 5. フォースクエアチェックインの仕組み
- 6. Choreographerの仕組み
- 7. マルチキャストの仕組み
- 8. キュウリカピバラの仕組み
- 9. subscribeOnの仕組み
- 10. ボイスアシスタントの仕組み
- 11. ゴランのタイマーの仕組み
- 12. JsonUtilityのラッパーの仕組み
- 13. iPhoneのjailbreakingの仕組み
- 14. Codeigniterのセッションの仕組み
- 15. このプログラムの仕組み
- 16. のHadoopストリーミングの仕組み
- 17. マルチスレッドコードのプロファイリングサンプリングの仕組み
- 18. Windowsのコマンドタイプの仕組み
- 19. ツリートラバーサルの仕組みは?
- 20. フリー()の仕組みは?
- 21. XML GUIDの仕組みは?
- 22. Windowsインデックスサービスの仕組みは?
- 23. Ember-Data: "マッピング"の仕組み
- 24. SPAの仕組みは?
- 25. sequelizeの仕組みは?
- 26. ユニットテストの仕組みActionFilterAttribute
- 27. Windowsカーネルプログラミングの仕組みは?
- 28. if()文の仕組み
- 29. MonoTouchの仕組みは?
- 30. R:RStudio:シルエットプロットの仕組みは?