Google App Engineの隠された "file.Open"クォータを上げる方法

Question

具体的には、指定されたクォータをどのように取得または取得するか、既存のクォータの制限内で効率を上げる方法ではありません。

GAEでMapReduceジョブを実行しているとき、私は以下のクォータ制限に達しました。制限は1日あたり100GBの「ファイルバイト受信」です。これはBlobstoreから受け取ったファイルバイトです。私の予算を増やしても、このクォータ制限は100Gb /日には影響しません。私は限界を完全に持ち上げて、私が使っているものを支払う能力を望んでいます。ログに

出力：

The API call file.Open() required more quota than is available. 
Traceback (most recent call last): 
    File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1511, in __call__ 
    rv = self.handle_exception(request, response, e) 
    File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1505, in __call__ 
    rv = self.router.dispatch(request, response) 
    File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1253, in default_dispatcher 
    return route.handler_adapter(request, response) 
    File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1077, in __call__ 
    return handler.dispatch() 
    File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 547, in dispatch 
    return self.handle_exception(e, self.app.debug) 
    File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 545, in dispatch 
    return method(*args, **kwargs) 
    File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/base_handler.py", line 68, in post 
    self.handle() 
    File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/handlers.py", line 168, in handle 
    for entity in input_reader: 
    File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/mapreduce_pipeline.py", line 109, in __iter__ 
    for binary_record in super(_ReducerReader, self).__iter__(): 
    File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/input_readers.py", line 1615, in __iter__ 
    record = self._reader.read() 
    File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/records.py", line 335, in read 
    (chunk, record_type) = self.__try_read_record() 
    File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/records.py", line 292, in __try_read_record 
    header = self.__reader.read(HEADER_LENGTH) 
    File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/file.py", line 569, in read 
    with open(self._filename, 'r') as f: 
    File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/file.py", line 436, in open 
    exclusive_lock=exclusive_lock) 
    File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/file.py", line 269, in __init__ 
    self._open() 
    File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/file.py", line 393, in _open 
    self._make_rpc_call_with_retry('Open', request, response) 
    File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/file.py", line 397, in _make_rpc_call_with_retry 
    _make_call(method, request, response) 
    File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/file.py", line 243, in _make_call 
    rpc.check_success() 
    File "/base/python27_runtime/python27_lib/versions/1/google/appengine/api/apiproxy_stub_map.py", line 558, in check_success 
    self.__rpc.CheckSuccess() 
    File "/base/python27_runtime/python27_lib/versions/1/google/appengine/api/apiproxy_rpc.py", line 133, in CheckSuccess 
    raise self.exception 
OverQuotaError: The API call file.Open() required more quota than is available. 

Answer 1

Googleに直接話をする必要がありそうです：quotasページにクォータの増加を要求するためのフォームへのリンクがあります：http://support.google.com/code/bin/request.py?&contact_type=AppEngineCPURequest

Answer 2

私はこれをヒットしましたエラーもあります。 Appengineの「実験的バックアップ」機能を使用しています。これはマップを縮小して実行し、すべてのappengineデータをgoogle-cloud-storageにバックアップします。ただし、現在、このエラーでバックアップが失敗します。

OverQuotaError：API呼び出しのfile.Open（）に、利用可能な容量より多くの割り当てが必要です。

とクォータのダッシュボードに、私たちは以下を参照してください。

Other Quotas With Warnings 
These quotas are only shown when they have warnings 
File Bytes Sent 100% 107,374,182,400 of 107,374,182,400 Limited 

だから明らかに、我々がヒットしている隠されたクォータ「送信済みファイルのバイト数」があります。しかし、それはどこにも記載されていないので、私たちはそれを打つことは決して知らなかったかもしれません....今は詰まっています