センサス局のTIGER FTPサイト(ftp://ftp2.census.gov/geo/tiger/TIGER2015/TRACT)からシェープファイルをダウンロードできるツールを作成しようとしています。私はファイルをリストすることはできますが、ファイルをダウンロードしようとすると、ファイルの内容ではなくファイル名だけの文字列が得られます。コードは以下のとおりです。FtpWebRequestでファイルをダウンロードするときの内容ではなくファイル名を取得する
private static T FtpRequest<T, TReader>(string url, string method, Func<TReader, T> responseAction) where TReader : IDisposable {
var request = (FtpWebRequest)WebRequest.Create(url);
request.Method = WebRequestMethods.Ftp.ListDirectory;
request.Credentials = new NetworkCredential("anonymous", "anonymous");
request.UseBinary = true;
request.UsePassive = true;
var response = (FtpWebResponse)request.GetResponse();
using(var responseStream = response.GetResponseStream())
using(var reader = (TReader)Activator.CreateInstance(typeof(TReader), responseStream)) {
return responseAction(reader);
}
}
private static IList<string> ListDirectory(string url) {
return FtpRequest(url,
WebRequestMethods.Ftp.ListDirectory,
(StreamReader reader) => reader.ReadAllLines()
.Select(file => new Uri(new Uri(url), new Uri(file, UriKind.Relative)).AbsoluteUri)
.ToArray());
}
private static byte[] DownloadBinaryFile(string url) {
// NOTE: following code works in 4.6, but not 3.5
//using(var client = new WebClient()) {
// return client.DownloadData(url);
//}
// this code returns file name as string in both 4.6 and 3.5
return FtpRequest(url,
WebRequestMethods.Ftp.DownloadFile,
(BinaryReader reader) => {
using(var memoryStream = new MemoryStream()) {
var buffer = new byte[2048];
for(;;) {
var bytesRead = reader.Read(buffer, 0, buffer.Length);
if(bytesRead == 0)
break;
memoryStream.Write(buffer, 0, bytesRead);
}
memoryStream.Position = 0;
return memoryStream.GetBuffer();
}
});
}
internal static void Main(string[] args) {
var baseUrl = "ftp://ftp2.census.gov/geo/tiger/TIGER2015/TRACT";
foreach(var file in ListDirectory(baseUrl)) {
Console.WriteLine("Downloading: {0}", file);
var contents = DownloadBinaryFile(file);
using(var zipStream = new MemoryStream(contents))
using(var zipFile = ZipFile.Read(zipStream)) {
foreach(var entry in zipFile) {
Console.WriteLine(" -> {0}", entry.FileName);
//using(var entryReader = entry.OpenReader()) {
//}
}
}
}
Console.ReadKey();
}
私はWebClient
を使用する場合は、.NET 3.5の550エラーで失敗しますが、.NET 4.6のために正常に動作します。関連コードは上でコメント化されています。
国勢調査のサイトはちょっとひどいので、サイトでは奇妙なことが起こっている可能性があります。そのため、私よりもFTP知識が豊富な人であれば、悪いサーバーを診断できる場合に備えてURLを提供しました。
質問のために[mcve]を作成していれば、問題を自分で見つけたはずです。私の答えを見てください。 –