OLTP MysqlからHadoop HiveでOLAPを作成

Question

make OLAPに使用されているWikiから読んだHadoop hiveと混乱します。 今、私はMysqlを使用するOLTPデータベースからHiveでOLAPを作成したいと思っています。

どうすれば解決できますか？ HiveでOLAPを作るためにケトルを使用できますか？ OLTP mysqlからHiveでOLAPを作成する方法はありますか？

Tks。

Answer 1

私は、次のアプローチを提案します：
a）OLTPプロセスの履歴部分を指定します。通常、操作上の何らかのログです。それをファクトテーブルと呼ぶことができます。
b）ファクトテーブルを時間で区切るには
c）MySQLから最も古いパーティションを定期的にオフロードし、CSVにエクスポートしてMySQLから削除する。
E）すべてが、ハイブの最新のデータを持っている、とMySQL OLTPデータベースの成長を防ぐことができます。このスキーマを実装することにより

をハイブに、このCSVファイルをロードします。