Google App Engine High Replicationデータストアからデータをエクスポートするにはどうすればよいですか？

Question

私はプロジェクト用にGoogle App Engineを使用していますが、GAE（またはGAEがシャットダウン）から離脱することを決定した場合、すべてのデータをエクスポートする方法があることを確認したいと思います。

GAEからデータをエクスポートする方法をすべて検索すると、https://developers.google.com/appengine/docs/python/tools/uploadingdataになります。ただし、このページにはこのメモが含まれています。

注：このドキュメントは、マスター/スレーブ データストアを使用するアプリに適用されます。アプリで高レプリケーションデータストアを使用している場合は、 でアプリからデータをコピーできますが、現在は はこのユースケースをサポートしていません。 High Replication データストアからコピーしようとすると、Admin コンソールにhigh_replication_warningエラーが表示され、ダウンロードしたデータに最近保存された エンティティが含まれていない可能性があります。

最近、マスター/スレーブデータストアでは、高レプリケーションデータストアの使用が推奨されていません。マスター/スレーブのデータストアはまだまだサポートされていることを理解していますが、正式に廃止され、廃止されたものを使用するのは快適ではありません。そのため、High Replicationデータストアが残っているため、データをエクスポートするように見える唯一の方法は、正式にサポートされていない上記の方法です（したがって、データを取得できるという保証はありません）。

高レプリケーションデータストアから他の（正式にサポートされている）データをエクスポートする方法はありますか？私のデータが永遠にそこに閉じ込められる可能性がある場合は、Google App Engineを使用するのが快適ではありません。

Answer 1

remote_apiという組み込みを設定する必要があります。 This articleにはすべての情報があり、現在および将来すべてのデータをダウンロードできる必要があります。

Answer 2

GAEからのデータのダウンロードをセットアップするのにかなり時間がかかっていました。ドキュメンテーションは、はっきりとはっきりしていないためです。

Unixサーバーからデータを抽出する場合は、以下のスクリプトを再利用できます。

また、 "config_file"パラメータを指定しないと、この種のすべてのデータが抽出されますが、後でデータを復元するためにしか使用できない独自の形式でデータが抽出されます。

#!/bin/sh 
#------------------------------------------------------------------ 
#-- Param 1 : Namespace 
#-- Param 2 : Kind (table id) 
#-- Param 3 : Directory in which the csv file should be stored 
#-- Param 4 : output file name 
#------------------------------------------------------------------ 
appcfg.py download_data --secure --email=$BACKUP_USERID --  config_file=configClientExtract.yml --filename=$3/$4.csv --kind=$2 --url=$BACKUP_WEBSITE/remote_api --namespace=$1 --passin <<-EOF $BACKUP_PASSWORD EOF 

Answer 3

現在、appエンジンデータストアは別のオプションもサポートしています。データバックアップのプロビジョニングを使用して、選択したデータをブロブストアまたはGoogleクラウドストレージにコピーできます。この機能は、App Engineコンソールのデータストア管理領域で使用できます。必要に応じて、バックアップされたデータをブロブビューアまたはクラウドストレージからダウンロードできます。高レプリケーションデータストアのバックアップを行う場合は、バックアップを取る前にデータストアの書き込みを無効にすることをお勧めします。