node.js - Node-Crawler, wie verwende ich den IP-Pool, um Anti-Crawling zu verhindern?

Das Problem ist Folgendes: Ich bin ein Neuling, der gerade erst mit dem Erlernen von Knoten begonnen hat. Natürlich ist es etwas für Crawler. Dann habe ich kürzlich einen Roman gelesen, aber es gab zu viele Anzeigen auf diesen kostenlosen Roman-Websites, also hatte ich vor, einen Crawler zu schreibe...

为情所困 2017-06-05 11:13:33 0  1  1218

Wie greift der PHP-Crawler auf den dynamischen Crawler-Agenten zu?

Wie greift der PHP-Crawler auf den Crawler-Agenten zu? Haben Sie zuvor Python verwendet?

Laical 2020-03-13 17:10:19 0  0  1090

Webcrawler – Einführung in den Python-Crawler

Ich bin bald im zweiten Jahr, habe selbst Python gelernt und kenne die grundlegende Grammatik. Ich möchte Crawlen lernen, aber ich habe das Gefühl, dass es viel Wissen erfordert. Gibt es jemanden, der es erlebt hat und zusammenfassen kann, was er weiß, oder wie man Python-Crawling lernt?

欧阳克 2017-07-05 10:34:11 0  3  1181

Webcrawler – Python fordert Crawlerproblem an

Bei der Verwendung des Request-Crawlers trat ein Problem auf, nachdem ich mein Konto und mein Passwort übermittelt hatte. Stattdessen wurde ein Anti-Swipe-Logo angezeigt und die URL änderte sich nicht , die Daten der Webseite würden an eine andere Seite gesendet werden. Bitte sagen Sie mir, wie ich ...

仅有的幸福 2017-05-27 17:39:37 0  1  557

python – Fragen zum Crawlen von Bildern?

Heutige Crawler analysieren Bilder im Allgemeinen aus HTML, das Problem besteht jedoch darin, dass einige Bildpfade in JS geschrieben sind. Wie klettert man hier hinauf? Ich weiß, dass Sie die Bilder in der Quelle anzeigen können, indem Sie den F12-Punkt im Browser öffnen, aber wie verwendet man ein...

我想大声告诉你 2017-06-28 09:25:40 0  2  1030

Webcrawler – Die Proxy-IP-Adresse des Python-Requests.get-Crawlers hat sich nicht geändert

Die Arbeit erfordert das Crawlen von Informationen auf Amazon, aber der Anti-Crawler von Amazon ist zu leistungsfähig und dieselbe IP-Adresse wird blockiert. Python-Version: 3.6, IDE: Pycharm 2017.1. Ich habe viele Informationen im Internet überprüft und das Handbuch der Anforderungsbibliothek geles...

typecho 2017-06-12 09:24:11 0  1  1200

Webcrawler – Python3.4.1-Anforderungsmodul meldet Fehler „Listenobjekt' hat kein Attribut „get'

Ich habe Python verwendet, um einen Crawler zu schreiben, der IP-Adressen crawlt, also habe ich einen Agenten geschrieben und den Thread-Pool verwendet, um 10 Threads zum Crawlen von IP-Adressen zu öffnen. Das Fehlerobjekt „list“ hat jedoch kein Attribut „. get' wurde direkt gemeldet. Wenn Sie wisse...

世界只因有你 2017-06-12 09:24:16 0  3  3488

Webcrawler – node.js-Crawler Die externe Aufruffunktion kann den Variablenwert nicht abrufen

Kürzlich wollte ich einen Crawler schreiben, um einige Romane zu lesen, aber ich bin auf einige Schwierigkeiten gestoßen. console.log(catalogUrl) kann die erforderliche URL ausdrucken, aber ich erwarte, dass ich die CatalogUrl durch Aufrufen der Funktion var xxx = getCatalogUrl erhalten kann (Buch) ...

習慣沉默 2017-05-16 13:25:17 0  2  519

Python – Überprüfung des CSDN-Crawlers

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py Warum muss es gemäß den Kommentaren in den Zeilen 87-88 in diesen Link umgewandelt werden, wenn ein Crawler verwendet wird? Kommentar zu csdn-Artikeln? Wie haben Sie den Link erhalten? Ich habe mir den Webseitencode angesehen und...

仅有的幸福 2017-05-18 10:53:42 0  2  848

java - Problem beim Crawlen von Bildern?

Ich habe gerade das POM geändert. Dies ist die Projektadresse des von mir geschriebenen Crawlers. Das Problem besteht jedoch darin, dass das Bild nach dem Herunterladen in den lokalen Bereich angezeigt wird oft unvollständig, wie folgt: Dies ist der Kerncode zum Herunterladen des Bildes wie folgt: {...

天蓬老师 2017-06-23 09:12:30 0  1  837

redis – Beim Ausführen eines Python-Crawlers ist die MySQL-Version 5.7 und es wird immer ein Fehler gemeldet

Beim Ausführen des Python-Crawlers ist die MySQL-Version 5.7 und es wird immer ein Fehler gemeldet {code...} Was ist das Problem? Wie man es löst?

扔个三星炸死你 2017-06-12 09:19:42 0  2  909

Wie verwende ich einen PHP-Crawler, um Amazon zu sammeln?

Da der Crawler beim letzten Upgrade der Amazon-Website hängen geblieben ist, sind die Anti-Pocket-Richtlinien von Amazon jetzt noch strenger. Daher kann keine normale Sammlung durchgeführt werden. Gibt es eine neue Akquisitionsstrategie?

Laical 2020-03-26 17:20:49 0  0  1199

Selenium – Fragen Sie nach dem Python-Crawler-Tool

1) Was ich erfassen möchte, sind Fans einer bestimmten Berühmtheit auf Instagram. 2) Die Instagram-PC-Site verwendet viel JS-Rendering. 3) Ich habe noch nie einen Crawler geschrieben, und der Chef wird die Daten morgen benötigen. Ich verwende derzeit BeautifulSoup , Selenium und Phantomjs Die Code-D...

阿神 2017-06-28 09:22:20 0  1  988

python – Beim Crawlen der CSDN-Hintergrundartikelliste sind Probleme aufgetreten, nachdem der Crawler die Anmeldung simuliert hat

Der Crawler hat sich tatsächlich angemeldet, da ich persönliche Informationen crawlen und erfassen kann, aber die URL im Bild unten kann nicht erfasst werden: Die URL lautet: http://write.blog.csdn.net/postlist, was Ihre ist csdn Backstage. Lassen Sie mich den Code veröffentlichen. Der obige Code gi...

ringa_lee 2017-05-18 10:51:59 0  2  1065

python - Wie kann ich mit einem Crawler Bilder von Webseiten stapelweise crawlen?

Wie im Bild gezeigt, ist es mühsam, Bilder über das Netzwerk anzuzeigen und zu laden und sie dann einzeln mit der rechten Maustaste zu speichern. Gibt es eine Möglichkeit, einen Crawler zu schreiben, der die Bilder hier stapelweise erfasst?

给我你的怀抱 2017-06-28 09:25:48 0  3  1177

html – „DNS-Suche fehlgeschlagen' erscheint beim Crawlen, aber es gibt kein Problem beim Öffnen der Webseite. Was passiert?

RT, als ich Python zum Crawlen verwendete, war am Anfang alles normal, aber plötzlich blieb die Webseite hängen. Nach einer Weile kehrte sie zum Normalzustand zurück. Beim erneuten Crawlen wird jedoch „DNS-Suche fehlgeschlagen“ gemeldet ". Ich habe viele Websites ausprobiert, aber die Webseite ...

PHP中文网 2017-06-14 10:50:53 0  1  1208

python – Anwendungszweifel am Alibaba-Crawler-Quellcode

1. Aktuelles Problem: Beim Ausführen der py-Datei passiert nichts. Was ist das Problem? 2. Ich bin ein absoluter Neuling, war noch nie mit Py vertraut und habe nur die Grundlagen von HTML + CSS gelernt. Aber weil ein Projekt des Unternehmens regionale Lieferanteninformationen sammeln musste, dachte ...

阿神 2017-06-22 11:51:27 0  1  1880

Webcrawler – Der Java-Crawler hat den Bildlink erhalten, kann das Bild jedoch nicht herunterladen

Der vom Crawler in HTML erhaltene Code der entsprechenden Bildressource lautet wie folgt. Wenn die Ressource jedoch über den Code zum Herunterladen des Bildes in einen Link umgewandelt wird, wird ein 400-Fehler gemeldet Es wurde festgestellt, dass der Website-Server der anderen Partei tatsächlich Fo...

黄舟 2017-05-17 10:01:58 0  2  574

python - Wie erhalte ich beim Schreiben eines Crawlers kein CSRF-Token?

Beim Schreiben eines Crawlers zum Crawlen von AliExpress habe ich das CSRF-Token im POST von NTEWROK gesehen, aber wie erhalte ich den CSRF-Wert, wenn ich den Quellcode der Seite ansehe? Danke.

漂亮男人 2017-05-24 11:35:05 0  2  791

Python – Speichern von Crawler-Inhalten in Textdateien. Codierungsprobleme

Testen Sie einen sehr einfachen Crawler, der den Textinhalt einer sehr minimalistischen Webseite auf Ihrem lokalen Computer speichert. Schließlich ist ein Fehler aufgetreten: {code...} Der Code lautet wie folgt: {code...}

欧阳克 2017-06-12 09:26:21 0  1  854