Python FTP "チャンク"イテレータ（ファイル全体をメモリにロードせずに）

Question

スタックオーバーフローについては、FTPファイルを取得し、それをストリングバッファやファイルなどのストリームに書き込んだり、反復処理を行うことができます。

のような：Read a file in buffer from FTP python

しかし、これらのソリューションは、ファイル全体をメモリにロードするか、内容を処理するために開始する前に、それをディスクにダウンロードすることを含みます。

ファイル全体をバッファリングするのに十分なメモリがないため、ディスクにアクセスできません。これはコールバック関数のデータを処理することで行うことができますが、私は、コードをでラップすることが可能かどうかを知りたいのですが、コールバックで自分のコードを処理するのではなく、イテレータを返します。

I.E.いうより：

def get_ftp_data(handle_chunk): 
    ... 
    ftp.login('uesr', 'password') # authentication required 
    ftp.retrbinary('RETR etc', handle_chunk) 
    ... 

get_ftp_data(do_stuff_to_chunk) 

私がしたい：（既存の答えとは違って）

for chunk in get_ftp_data(): 
    do_stuff_to_chunk(chunk) 

そして、私はそれを反復する前に、ディスクやメモリに全体のFTPファイルを記述することなく、それをやりたいです。

Answer 1

あなたは別のスレッドでretrbinaryコールを入れて、イテレータへのコールバックフィードブロックを持っている必要があります：

import threading, Queue 

def ftp_chunk_iterator(FTP, command): 
    # Set maxsize to limit the number of chunks kept in memory at once. 
    queue = Queue.Queue(maxsize=some_appropriate_size) 

    def ftp_thread_target(): 
     FTP.retrbinary(command, callback=queue.put) 
     queue.put(None) 

    ftp_thread = threading.Thread(target=ftp_thread_target) 
    ftp_thread.start() 

    while True: 
     chunk = queue.get() 
     if chunk is not None: 
      yield chunk 
     else: 
      return 

あなたがスレッドを使用することができない場合は、あなたができる最善のは、あなたのコールバックを書いていますコルーチンとして：

from contextlib import closing 


def process_chunks(): 
    while True: 
     try: 
      chunk = yield 
     except GeneratorExit: 
      finish_up() 
      return 
     else: 
      do_whatever_with(chunk) 

with closing(process_chunks()) as coroutine: 

    # Get the coroutine to the first yield 
    coroutine.next() 

    FTP.retrbinary(command, callback=coroutine.send) 
# coroutine.close() # called by exiting the block