2016-07-14 14 views
0

すべてのリンクを1つのファイルに含み、そのリンクからデータを取得するコードが含まれていますが、このコードはそこに言及している1つのリンクに対してのみ機能しますが、保存したファイル1つのファイルで一つずつ同時に同じリンクからフェッチしている他のテキストファイルにすべてのデータを保存する必要があります。javaを使用してファイルからすべてのリンクを1つ1つ(webcrawling)読み込む方法?

URL my_url = new URL("http://www.flipkart.com/"); 
    BufferedReader br = new BufferedReader(new InputStreamReader(my_url.openStream())); 
    String strTemp = ""; 
    while(null != (strTemp = br.readLine())){ 
    System.out.println(strTemp);           
    FileWriter fw = new FileWriter("/home/cloudera/Desktop/output.txt");  
    BufferedWriter bw = new BufferedWriter(fw); 
    String s1; 
    while((s1 = br.readLine()) != null) 
{ 
    bw.write(s1); 
    bw.newLine(); 
} 
    System.out.println("success"); 
    bw.close(); 
    fw.close(); 
    //br.close(); 
} 

}

答えて

0

第一方を削除し、bw.write(strTemp)を行います。

+0

返信いただきありがとうございます@Aviator !!私はそれが動作しないようにしました。実際にはLFSの単一リンクとストア出力のコードの上にあります。しかし、今私がしたいのは、1つのファイルからすべてのリンクを読み込み、リンクから1つずつデータを取り出してテキストファイルに保存することです。 –

0

あなたは車輪を再発明しています。学校の配属でない限り、他の人がすでに処理している問題を解決しようとするのではなく、NutchまたはStorCrawlerのような既存のJavaクローラを使用するだけではどうですか?

関連する問題