私は、リアルタイム解析のためにhadoopとhbaseをインストールしました。私が直面している問題は、mysqlからHbaseへのデータをマイグレーションすることです。mysqlからHbaseへの連続データ移行
sqoopツールは大量のデータ移行を行うのに便利です。mysqlのデータをオンラインでHBaseに転送する方法はありますか（挿入/更新/削除が発生した場合はそこそこ）。リアルタイムの分析が可能になります。リアルタイムに近いものではありません。
この点についてお手伝いしてください。
異なるDBMS間でレプリケーションをセットアップする作業に直面したと思います。ネイティブレプリケーションのメカニズムが有用でない場合があります。 最も簡単な解決策は、レプリケートするテーブルに対してトリガのセットを作成し、レプリケートするデータを追加のテーブルに書き込むことです。その後、このテーブルの監視を設定し、HBaseに変更を適用することができます。
より堅牢ですが、より複雑な解決方法は、ネイティブレプリケーションメカニズムに使用されているMySQLログを分析し、その変更をHBaseに適用することです。
私にとっては、HBaseがリアルタイム解析を提供するのは明らかではありません。 Group by In HBase
ハイブをプロジェクトで使用する場所の詳細を追加するには、HiveとHBaseを統合して連携させることができる複数の設定があります。たとえば、AWSを使用する場合、同じhadoopクラスタにHBase/Hiveをインストールして、HiveテーブルとHbaseテーブルの結合クエリを一緒に実行できます。または、HBaseとHiveを2つの異なるクラスタに分け、HiveクエリからHBaseデータを参照することもできます。 Clouderaディストリビューションを使用する場合も、同じことをすることができます。
参考：
おかげでデビッドあなたの考えを共有するため。実際に私の仕事は、分析のためにhaddopとhbaseを出すことでした。上記のとおり、MySQLログを使用することをお勧めします。私の計画は です。1. MySQLからHBaseにデータを移行します。 2.分析レポートごとにHBaseのデータモデルを用意しました。 3. MRジョブの使用を前提としています。上記の移行されたデータを使用して、このレポートの表を作成できます。 私はHIVEをどこで使用するのか、まさに正しい道にいるのかよく分かりません。あなたの考えを共有してください。 – dharshan
私はデータをハイブにマイグレーションし、HQL（SQLのような言語）を使ってすべての集計/レポートを行うことを検討します。レポートの結果（特にサイズが小さい場合）は、MySQLに移行することができます。あなたは秒まで、そしてたぶん最高1分まで、実時間を達成することはありません。それは簡単で非常にスケーラブルなソリューションになります。
私はHBaseがここにどのように入ってきたのかまだ分かりません。
–
Davidに感謝します。近い将来に大きなデータが予想されるため、HBaseは画像になります。数千のレストランが統合され、取引データの量が大きくなります。トランザクションデータに基づいて、分析レポートが生成されます。 あなたの考えをお伝えください。 – dharshan