Jsoup、MySQL：JavaCode経由でデータベース内のdoubleEntriesを回避する方法

Question

データを抽出し、データベースphpmyadmin（wampServer）で作成したデータに直接書き込もうとしています。データは毎日増加しており、私はそれを毎日 にしておく必要があるので、私は数日のうちにprorammcodeを実行します。そして今、私の 問題：どうすれば同じようなエントリを防ぐことができますか？名前、ID、 のURLで試してみました。問題は、一部のデータが同じIDを持つことです。名前を使用すると、 SQL文の構文上の例外の原因（多くの名前には、 ";"、 "" "、" \ "、" `"、 "："のような文字の があります）難しく）、私が URLを使用すると、エラーはスローされませんが、2重のエントリがたくさんあります。 すでに存在するデータはすべてデータベースには入っていませんが、そのうちのいくつかしかブロックできません。私はこの問題を解決することができ

ここに私のprogrammCodeです：？

package htmlParser; 
import java.io.File; 
import java.sql.Connection; 
import java.sql.DriverManager; 
import java.sql.PreparedStatement; 
import java.sql.ResultSet; 
import java.sql.SQLException; 
import java.io.FileInputStream; 
import java.io.FileWriter; 
import java.io.IOException; 
import java.io.InputStream; 
import java.sql.PreparedStatement; 
import java.sql.SQLException; 
import java.sql.Statement; 
import java.util.ArrayList; 
import org.jsoup.Jsoup; 
import org.jsoup.nodes.Document; 
import org.jsoup.nodes.Element; 
import org.jsoup.select.Elements; 
import data.DatenBank_Steam_Spiele; 
import data.Spiel; 

public class Steam_GameID_Links 
{ 
    public ArrayList<Spiel> spiele; 
    public final static String DELIMITER = "Trennzeichen"; 
    static final String JDBC_DRIVER = "com.mysql.jdbc.Driver"; 
    static final String myDatabase = "jdbc:mysql://localhost:3306 /Steam_Spiele"; 

public static void main(String[] args) throws SQLException, ClassNotFoundException 
{ 
    Connection conn = null; 
    Statement stmt = null; 

    Steam_GameID_Links wc = new Steam_GameID_Links(); 
    try 
    { 
     Class.forName(JDBC_DRIVER); 
     conn = DriverManager.getConnection(myDatabase, "root", ""); 
     System.out.println("Verbindung erfogreich hergestellt"); 

     String url = "http://store.steampowered.com/search/?sort_by=_ASC&category1=998&page=1"; 
     Document document = Jsoup.connect(url).get(); 
     Elements howMuchPages = document.select(".search_pagination_right"); 
     String[] stuff = howMuchPages.text().split(" "); 
     String tmp = stuff[4].replace(" ", "").replace(".", ""); 
     StringBuilder sb = new StringBuilder(); 
     for(int i = 0; i < tmp.length(); i++) 
     { 
      if(Character.isDigit(tmp.charAt(i))) 
      { 
       sb.append(tmp.charAt(i)); 
      } 
     } 
     String last = sb.toString().trim();; 
     int lastPages = Integer.parseInt(last); 
     int counter = 0; 
     wc.spiele = new ArrayList<>(); 
     for(int i = 1; i < lastPages + 1; i++) 

     { 
      System.out.println("______________________ SpieleAngebot Seite " + i + " von insgesamt " + lastPages 
        + " Seiten."); 
      url = "http://store.steampowered.com/search/?sort_by=_ASC&category1=998&page=" + i; 
      // ACHTUNG: ohne timeout(0) kann der AusleseProzess VORHER abbrechen (dauert zu lange) 
      document = Jsoup.connect(url).timeout(0).get(); 
      // waehlt zunaechst den ElternKnoten: <div id="search_result_container"> 
      Element parentNode = document.getElementById("search_result_container"); 
      Elements childNodes = parentNode.getElementsByAttribute("data-ds-appid"); 
      // FUNZT (releasedates) 
      Elements releasedates = document.select("div.col.search_released.responsive_secondrow"); 
      Elements prices = document.select("div.col.search_price.responsive_secondrow"); 
      for(int j = 0; j < releasedates.size(); j++) 
      { 
       String name = childNodes.get(j).getElementsByClass("title").text(); 
       String id = childNodes.get(j).attr("data-ds-appid"); 
       int ID = Integer.parseInt(id); 
       String href = childNodes.get(j).attr("href"); 
       String releaseDate = releasedates.get(j).text(); 
       String priceAll = prices.get(j).text(); 
       String[] getPrice = priceAll.split(" "); 
       String price = getPrice[getPrice.length - 1]; 
       // Liste befuellen WICHTIG fuer Textfile!! 
       wc.spiele.add(new Spiel(name, ID, href, price, releaseDate)); 

       //check if the game is already in database 
       String search = "SELECT * FROM spiel WHERE URL LIKE \"" + href + "\""; 
       Statement checkIfAlreadyThere = conn.createStatement(); 
       ResultSet rs = checkIfAlreadyThere.executeQuery(search); 
       if(rs.next()) 
       { 
        System.out.println("Game already in database"); 
       } 
       else 
       { 
        String insert = "INSERT INTO spiel (NAME, ID, URL, VERÖFFENTLICHT, PREIS)" 
          + "VALUES (?,?,?,?,?)"; 
        PreparedStatement preparedStatement = conn.prepareStatement(insert); 
        preparedStatement.setString(1, name); 
        preparedStatement.setInt(2, ID); 
        preparedStatement.setString(3, href); 
        preparedStatement.setString(4, releaseDate); 
        if(price.equals("Play") || price.equals("Free")) 
        { 
         price = "kostenlos"; 
        } 
        preparedStatement.setString(5, price); 
        preparedStatement.executeUpdate(); 
       } 
       counter++; 
      } 
     } 
     System.out.println("Anzahl Spiele: " + counter); 

     for(Spiel out : wc.spiele) 
     { 
      wc.writeSpielNameIDLink("Spiel:" + out.getName() + DELIMITER + "ID:" + out.getID() + DELIMITER 
        + "SpieleLink:" + out.getLink() + DELIMITER + "veröffentlicht:" + out.getReleaseDate() 
        + DELIMITER + "Preis:" + out.getPrice() + "\n \n"); 
     } 
     wc.writeSpielNameIDLink("\n \n Anzahl Spiele: " + counter); 
     Steam_Sales_Per_Game spG = new Steam_Sales_Per_Game(); 

    } 
    catch(IOException e) 
    { 
     e.printStackTrace(); 
    } 
} 

Answer 1

あなたがゲームの非常にユニークな識別子を見つける必要があり、蒸気は非常にUを提供している場合は、見ている必要があります。ゲームの固有ID。このIDをゲームの識別子として使用します。 コードのURLのスチームリンクをチェックすると、リストされたエントリごとにアプリIDが表示されます。 アプリケーションIDがゲームエントリのトップリンク<a>タグ属性として存在する（/アプリ/部分後HREF）

はEDIT：IDは、href属性に固有のものである

Answer 2

これはゲームはデータベースにすでに存在するかどうかを確認するために私のコード-エキス：

String search = "SELECT * FROM spiel WHERE URL LIKE \"" + href + "\""; 
Statement checkIfAlreadyThere = conn.createStatement(); 
ResultSet rs = checkIfAlreadyThere.executeQuery(search); 
if(rs.next()) 
{ 
    System.out.println("Game already in database"); 
} 
else 
    { 
     << pseudoCode: insert game into database >>> 
    } 

URLをチェックbevore述べたように、最高になりますどの問題ないが、効果的ではない、（NAMEを使用して解決策は本当にユニークな原因）構文エラーが発生します。 SQL-Statmentを作成するより良い方法がありますか？

Answer 3

私は、Bの@Erik Bのおかげで、あなたは私に正しいヒントをくれました。 そして、ここに私の解決策コード-extractです：

String href = childNodes.get(j).attr("href"); 
String cutFirstpart = href.replaceAll("http://store.steampowered.com/app/", ""); 
String[] hrefSplit = cutFirstpart.split("/"); 
String uniqueID = hrefSplit[0]; 
int ID = Integer.parseInt(uniqueID); 
String releaseDate = releasedates.get(j).text(); 
String priceAll = prices.get(j).text(); 
String[] getPrice = priceAll.split(" "); 
String price = getPrice[getPrice.length - 1]; 
//check if the game is already in database 
String search = "SELECT * FROM spiel WHERE ID LIKE \"" + ID + "\""; 
Statement checkIfAlreadyThere = conn.createStatement(); 
ResultSet rs = checkIfAlreadyThere.executeQuery(search); 
if(rs.next()) 
{ 
    System.out.println("Game already in database"); 
} 
else 
{ 
     << insert NEW data into database >>>> 
}