JAVA crawlt Webseitendaten jsoup

In Bezug auf die Crawling-Daten, die in den letzten Jahren aufgetaucht sind, verwenden die meisten Leute Python zum Crawlen. Einige Leute wissen immer noch nicht, dass Java auch Daten-Crawling durchführen kann. Anschließend teilt Ihnen der Herausgeber einen Artikel über das Crawlen von Webseitendaten mit Java mit.

Die Bedeutung des Crawlens von Daten besteht darin, die von der Anfrage zurückgegebenen Seiteninformationen abzurufen und die gewünschten Daten herauszufiltern.

Um es kurz zu machen, beginnen wir unten:

1. Umgebungsvorbereitung

Wenn das Tool Eclipse oder IDEA ist

Konfigurieren Sie Maven

2 .Jsoup-bezogene Abhängigkeiten importieren

                                                                           lt;version>1.13.1

3. Beginnen Sie mit der Einrichtung eines Projekts, um Code zu schreiben Der Code lautet wie folgt:

public static void main(String[] args) throws Exception { Scanner sc = new Scanner(System.in) ; System.out.println("Bitte geben Sie den Suchbegriff ein!!! "); String input = sc.next(); //Holen Sie sich die URL-Anfrage, finden Sie die Anfrage hier selbst String url = "https://search .xx.com/Search?keyword="+input; //Parse the Webseite (das von jsoup hier zurückgegebene Dokument ist das Seitendokumentobjekt) Document document = Jsoup.parse(new URL(url), 30000); //All js Alle Methoden in können hier verwendet werden, hier wird die ID abgerufen im Crawling-Ziel div Element element = document.getElementById("x_goodsList"); System.out.println(element.html()); //Das Crawling-Ziel div abrufen Alle li-Tags in Elements elements = document.getElementsByTag("li "); //Alle Inhalte im li-Tag durchlaufen for(Element el : elements){

//Manchmal müssen mehr Bilder gecrawlt werden Alle Websites verwenden Lazy Loading. Das erhaltene Attribut ist source-data-lazy-img anstelle von src

/*

img ist das gecrawlte Bild,

price ist der gecrawlte Preis,

name ist der gecrawlte Produktname

*/

String img = el.getElementsByTag("img").eq(0).attr("src"); .getElementsByClass("p-price").eq(0).text(); String name = el.getElementsByClass("p-name").eq(0).text(); System.out.println ("= ======================="); System.out.println(img); System.out.println(preis); System.out .println(

Endlich sollten sich Freunde, die sich für das Crawlen von Daten interessieren, beeilen und es versuchen. Hier werde ich allen illegalen Crawling-Verhalten ein Ende setzen, hahaha . Klettern und spielen, es gibt nichts, was man nicht klettern könnte.

Das obige ist der detaillierte Inhalt vonJAVA crawlt Webseitendaten jsoup. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!