RスクリプトはNOAAからの大きなデータの固定幅ファイルを読み込みますFTPのみ部分テーブルを取得

Question

こんにちは、こんにちは、これは簡単な修正である場合は事前にお詫び申し上げます。

NOAAのデータベースから1日に1回、降水量データを取得しようとしていますが、この機能は数ヶ月間完全に機能していましたが、NOAAはテーブルのサイズを増やしました。異なる行末がそれぞれ実行されます。あたかもテーブル全体がロードされる前にデータが掻き取られているかのようです。テーブル全体を掴む方法についてのアドバイスがあれば、それは素晴らしいでしょう。

これは過去に働いていたコードですが、今では1つの実行でコードのすべての行を取得し、他の行では半分/四分の一などを停止します。

Temp = read.fwf("ftp://ftp.ncdc.noaa.gov/pub/data/ghcn/daily/all/USW00054779.dly", 
       widths = c(11, 4, 2, 4, rep(c(5, 1, 1, 1),31))) 

ありがとうございます！

Answer 1

ghcn_url <- "ftp://ftp.ncdc.noaa.gov/pub/data/ghcn/daily/all/USW00054779.dly" 
ghcn_fil <- basename(ghcn_url) 

if (!file.exists(ghcn_fil)) download.file(ghcn_url, ghcn_fil) 

tmp <- read.fwf(ghcn_fil, widths = c(11, 4, 2, 4, rep(c(5, 1, 1, 1), 31))) 

これは、イベントでリモートサーバにデータ処理（または他の問題）の種類であることの他の利点を持っている（つまり、あなたはそれが再びグラブ対ローカルコピーを読むことができる）、対象ファイルの再処理を強制します。

これはウェブスクレイピングではありません。これは、固定幅のファイルを読み込んでいます。おそらくタイトルを変更する必要があります。