2017-07-30 4 views
1

私はHbaseで1TBのデータを持つプロジェクトに取り組んでいます。バックアップの目的のために私はスナップショットについて読んだ。hbaseのエクスポートスナップショット - CorruptedSnapshotException

HBaseのスナップショットは、クラスタ上で、私は別のクラスタにエクスポートすると、私はによって引き起こさ

取得しています: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoopを。 hbase.snapshot.CorruptedSnapshotException): org.apache.hadoop.hbase.snapshot.CorruptedSnapshotException:

だから私は私のエクスポートに含めるために、他のどのようなファイルが必要ですか?

となり、スナップショットディレクトリをwinscp経由で別のクラスタに移動するようなスナップショットを復元することは可能ですか?

答えて

0

CorruptedSnapshotExceptionが表示されるのは、この理由のためです。ファイルシステムのスナップショット情報がvalidではありません。したがって、 エクスポートコマンドが正しいかどうかを確認してください。

例:

hbase class org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot snapshot30072017 -copy-to hdfs://127.0.0.1:9000/hbase -mappers 8 -bandwidth 100 

このIssue trackerをお読みください。

上記のコマンドには、すべてのスナップショットを100 MB /秒の制限帯域幅で別のクラスタにエクスポートするために実行される8つのマップジョブがあります。

注:

org.apache.hadoop.hbase.snapshot.ExportSnapshotツールコピースナップショットに関連する全てのデータ(HFiles、ログ、スナップショット・メタデータ)に別のクラスタ

スナップショットの詳細は、この場所

/apps/hbase/data/.hbase-snapshot/(ClouderaののVMのパスを)HDFS、別のクラスタ にそれらのファイルをコピーして使用して復元してくださいの下に見つけることができます'restore_snapshot 'snapshot_name''

これをお読みください。HBase snapshot documentation