Vorbereitungsarbeiten zum Schreiben des Java Zhihu-Crawlers von Grund auf

Beginnen wir mit dem Gleichen wie zuvor. Sprechen wir über die Ideen für die Herstellung eines Crawlers und das Wissen, das vorbereitet werden muss. Experten, bitte ignorieren Sie es.

Lassen Sie uns zunächst darüber nachdenken, was wir tun möchten, und einige einfache Anforderungen auflisten.

Die Anforderungen sind wie folgt:

1. Simulieren Sie den Zugriff auf die offizielle Website von Zhihu (http://www.zhihu.com/)

2 Inhalt, einschließlich: Das heißeste heute, das heißeste diesen Monat, empfohlen vom Herausgeber

3. Laden Sie alle Fragen und Antworten in der angegebenen Kategorie herunter, z. B.: Investition, Programmierung, fehlgeschlagene Kurse

4. Laden Sie alle Antworten des angegebenen Befragten herunter

5. Am besten wäre es, eine perverse One-Click-Like-Funktion zu haben (damit ich alle Antworten von Laylen auf einmal liken kann. Ich bin so schlau!)

Dann werden die technischen Probleme, die gelöst werden müssen, kurz aufgeführt:

1. Simulieren Sie einen Browser, um auf die Webseite zuzugreifen

2 lokal

3. Lösen Sie das Problem des dynamischen Ladens im Internet

4. Verwenden Sie die Baumstruktur, um alle Inhalte auf Zhihu massiv zu crawlen

Okay, das ist alles, woran ich gedacht habe Jetzt.

Der nächste Schritt ist die Vorbereitung.

1. Bestimmen Sie die Crawler-Sprache: Da ich bereits eine Reihe von Crawler-Tutorials geschrieben habe (hier klicken), sind Baidu Tieba, Embarrassing Encyclopedia, die Notenabfrage der Shandong University usw. alle in Python geschrieben, also habe ich Ich habe mich entschieden, dieses Mal Python zu verwenden. Schreiben Sie es in Java (hey, ich habe keinen halben Cent Zeit, um Sie zu kontaktieren).

2. Populäre Wissenschaft über Crawler: Webcrawler oder Web Spider ist ein sehr anschaulicher Name. Wenn man das Internet mit einem Spinnennetz vergleicht, dann ist eine Spinne eine Spinne, die im Netz herumkriecht. Webspider suchen über ihre Linkadressen nach Webseiten. Für eine ausführliche Einführung klicken Sie bitte hier.

3. Bereiten Sie die Crawler-Umgebung vor: Ich werde nicht näher auf die Installation und Konfiguration von Jdk und Eclipse eingehen. Ein langer Satz hier: Ein nützlicher Browser ist für Crawler sehr wichtig, denn zunächst müssen Sie selbst im Internet surfen, um herauszufinden, wo sich die Dinge befinden, die Sie benötigen, und dann können Sie Ihren Crawlern sagen, wohin sie gehen und wie sie crawlen sollen. Ich persönlich empfehle Firefox oder Google Chrome. Ihre Funktionen zum Überprüfen von Elementen mit der rechten Maustaste und zum Anzeigen des Quellcodes sind sehr leistungsstark.

Jetzt starten wir die offizielle Crawler-Reise! ~Worüber soll ich konkret sprechen? Nun, das ist eine Frage. Mach dir keine Sorgen^_^

Nullbasiertes Java Zhihu Vorbereitungsarbeiten für Crawler. Weitere verwandte Inhalte finden Sie auf der chinesischen PHP-Website (www.php.cn)!