私は、設定された後、他の関数でアクセスできない変数を使用して奇妙なことに出くわします。これは予想通りwgetのプロセスは、キックオフスクリプト内のPython変数スコープの問題
from ingest.task import html
web_url = 'https://www.gnu.org/software/wget/manual/html_node/index.html'
ingest = html.download.delay(web_url, 54321)
経由
base_path = ''
@app.task(bind=True)
def status(self):
"""
returns the count of files downloaded and the timestamp of the most recently downloaded file
"""
num_count = 0
latest_timestamp = ''
for root, _, filenames in os.walk(base_path):
for filename in filenames:
file_path = root + '/' + filename
file_timestamp = datetime.fromtimestamp(os.path.getctime(file_path))
if latest_timestamp == '' or file_timestamp > latest_timestamp:
latest_timestamp = file_timestamp
num_count += 1
@app.task(bind = True)
def download(self, url='', cl_id=-1):
if len(url) == 0 or cl_id < 0:
return None
base_path = settings.WGET_PATH + str(cl_id)
log_paths = {
'output' : wget_base_path + '/out.log',
'rejected' : wget_base_path + '/rejected.log'
}
create_files(log_paths)
wget_cmd = 'wget -prc --convert-links --html-extension --wait=3 --random-wait --no-parent ' \
'--directory-prefix={0} -o {1} --rejected-log={2} {3}'.\
format(wget_base_path, log_paths['output'], log_paths['rejected'], url)
subprocess.Popen(wget_cmd, shell = True)
私はこれを呼び出すhtml.py
という名前セロリタスクファイルです。ただし、ファイルの先頭にbase_path
パラメータが設定れることは決してありませんので、私はstatus
status = html.status.delay()
を呼び出すときbase_path
変数はstatus
がdownload
後に呼び出されているにもかかわらず、空の文字列です。これらのタスクはスクリプト対クラスのためですか?
Hmm、ok。説明ありがとう。さらにJavaの経験は、Pythonで私を驚かせてくれます。 – Jason