redis – Beim Ausführen eines Python-Crawlers ist die MySQL-Version 5.7 und es wird immer ein Fehler gemeldet

Beim Ausführen des Python-Crawlers ist die MySQL-Version 5.7 und es wird immer ein Fehler gemeldet {code...} Was ist das Problem? Wie man es löst?

扔个三星炸死你 2017-06-12 09:19:42 0  2  913

html – „DNS-Suche fehlgeschlagen' erscheint beim Crawlen, aber es gibt kein Problem beim Öffnen der Webseite. Was passiert?

RT, als ich Python zum Crawlen verwendete, war am Anfang alles normal, aber plötzlich blieb die Webseite hängen. Nach einer Weile kehrte sie zum Normalzustand zurück. Beim erneuten Crawlen wird jedoch „DNS-Suche fehlgeschlagen“ gemeldet ". Ich habe viele Websites ausprobiert, aber die Webseite ...

PHP中文网 2017-06-14 10:50:53 0  1  1213

Webcrawler – Wie crawle ich die Bilder im Blog Park-Blog mit Python?

Ich habe einen kleinen Code geschrieben, um die Bilder im Blog Park zu crawlen. Dieser Code ist für einige Links wirksam, aber einige Links melden Fehler, sobald sie gecrawlt werden. {code...} Wie in der Abbildung gezeigt, kann das Bild korrekt gecrawlt werden, wenn die URL in {code...} geändert wir...

某草草 2017-05-18 10:45:39 0  1  903

Webcrawler – Einführung in den Python-Crawler

Ich bin bald im zweiten Jahr, habe selbst Python gelernt und kenne die grundlegende Grammatik. Ich möchte Crawlen lernen, aber ich habe das Gefühl, dass es viel Wissen erfordert. Gibt es jemanden, der es erlebt hat und zusammenfassen kann, was er weiß, oder wie man Python-Crawling lernt?

欧阳克 2017-07-05 10:34:11 0  3  1188

Wie greift der PHP-Crawler auf den dynamischen Crawler-Agenten zu?

Wie greift der PHP-Crawler auf den Crawler-Agenten zu? Haben Sie zuvor Python verwendet?

Laical 2020-03-13 17:10:19 0  0  1098

python – Bei Verwendung von CrawlSpider in Scrapy können URLs nicht abgeglichen werden

Mein Crawler-Code lautet wie folgt. Ich weiß nicht, wo das Problem liegt. {Code...} Fehlererinnerung ausführen: {Code...}

为情所困 2017-05-18 10:51:02 0  3  853

python – Fragen zum Crawlen von Bildern?

Heutige Crawler analysieren Bilder im Allgemeinen aus HTML, das Problem besteht jedoch darin, dass einige Bildpfade in JS geschrieben sind. Wie klettert man hier hinauf? Ich weiß, dass Sie die Bilder in der Quelle anzeigen können, indem Sie den F12-Punkt im Browser öffnen, aber wie verwendet man ein...

我想大声告诉你 2017-06-28 09:25:40 0  2  1033

Javascript – Knoten crawlt Weibo

Ich war neu bei Node und wollte einen Crawler schreiben, um Sina Weibo-Kommentare zu crawlen, aber ich stellte fest, dass die Seite dynamisch von JS generiert wurde und nicht mit dem http-Modul gecrawlt werden konnte, also habe ich Phantomjs zum Crawlen verwendet (ich habe gehört, dass dies der Fall...

仅有的幸福 2017-06-30 10:00:08 0  1  977

python – So überprüfen Sie, welche Art von Anti-Crawler für eine URL verwendet wird

URL: https://www.nvshens.com/g/22377/. Öffnen Sie die Website direkt mit dem Browser und klicken Sie mit der rechten Maustaste auf das Bild, um es herunterzuladen. Dann wurde das von meinem Crawler direkt angeforderte Bild blockiert Ich habe Header hinzugefügt und einen IP-Proxy eingerichtet, aber e...

ringa_lee 2017-06-12 09:27:51 0  4  1268

Webcrawler – Python3.4.1-Anforderungsmodul meldet Fehler „Listenobjekt' hat kein Attribut „get'

Ich habe Python verwendet, um einen Crawler zu schreiben, der IP-Adressen crawlt, also habe ich einen Agenten geschrieben und den Thread-Pool verwendet, um 10 Threads zum Crawlen von IP-Adressen zu öffnen. Das Fehlerobjekt „list“ hat jedoch kein Attribut „. get' wurde direkt gemeldet. Wenn Sie wisse...

世界只因有你 2017-06-12 09:24:16 0  3  3491

Webcrawler – wie Python-Crawler JSON-Inhalte verarbeitet

Wenn Sie es nicht klar sehen können, lautet die Website-Adresse http://www.sse.com.cn/disclos... Der rote Text ist der Inhalt, den ich brauche, aber ich kann ihn nicht extrahieren. Bitte sagen Sie mir, wie das geht Betreiben Sie es.

学习ing 2017-06-22 11:51:33 0  2  718

linux - Gibt es in Python geschriebenen Code, der veröffentlicht und automatisch online gestellt werden kann, oder gibt es ein System zur Vorbereitung und Verwaltung?

Gibt es in Python geschriebenen Code, der veröffentlicht und automatisch online gestellt werden kann, oder gibt es ein System zur Vorbereitung und Verwaltung? Ich möchte eine ähnliche Website erstellen, habe aber keine Ideen. Können Sie ein entsprechendes Projekt empfehlen? Lass mich zuerst lernen.....

大家讲道理 2017-05-16 13:31:07 0  5  672

Python – Überprüfung des CSDN-Crawlers

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py Warum muss es gemäß den Kommentaren in den Zeilen 87-88 in diesen Link umgewandelt werden, wenn ein Crawler verwendet wird? Kommentar zu csdn-Artikeln? Wie haben Sie den Link erhalten? Ich habe mir den Webseitencode angesehen und...

仅有的幸福 2017-05-18 10:53:42 0  2  857

In welchem ​​Dateiformat werden in Python entwickelte Konfigurationsdateien wie Requisiten gespeichert?

In welchem ​​Dateiformat werden in Python entwickelte Konfigurationsdateien wie Requisiten gespeichert?

phpcn_u1582 2017-05-18 10:49:39 0  1  648

Python schreibt die Daten der x-ten Spalte in die x-te Datei

Der Python-Crawler muss insgesamt 65 Datenseiten crawlen, und die Anzahl der Spalten auf jeder Datenseite ist ungewiss. Jetzt kann ich die Daten jeder Spalte erfassen, aber da die Anzahl der Spalten unsicher ist, kann der geschriebene Dateiname nicht bestimmt werden. Das Problem besteht darin, wie d...

漂亮男人 2017-06-12 09:23:40 0  1  758

python – Anwendungszweifel am Alibaba-Crawler-Quellcode

1. Aktuelles Problem: Beim Ausführen der py-Datei passiert nichts. Was ist das Problem? 2. Ich bin ein absoluter Neuling, war noch nie mit Py vertraut und habe nur die Grundlagen von HTML + CSS gelernt. Aber weil ein Projekt des Unternehmens regionale Lieferanteninformationen sammeln musste, dachte ...

阿神 2017-06-22 11:51:27 0  1  1881

So importieren Sie die Datei simple_HTML_DOM in ThinkPHP5

Ich möchte einen Webcrawler erstellen, um Daten abzurufen. Jetzt habe ich eine simple_HTML_DOM.php-Datei. Wie soll ich sie in TP5 verwenden? Fügen Sie den Dateiinhalt direkt in common.php ein oder wie verwenden Sie ihn?

NULL 2017-12-07 13:26:15 0  0  1194

Python – Der Titel der Webseite enthält eine neue Zeile. Wie extrahiere ich ihn mit regulären Ausdrücken?

Wenn ich Python als Webcrawler für CSDN verwende und den Titel einer Webseite crawle, verwende ich in CSDN immer den regulären Ausdruck (?<=\<title\>).+?(?=\<). Nein, ich habe mir den CSDN-Quellcode angesehen. Der Titel wurde in einer neuen Zeile angezeigt, sodass der urs...

女神的闺蜜爱上我 2017-06-22 11:51:43 0  2  993

Webcrawler – Die Proxy-IP-Adresse des Python-Requests.get-Crawlers hat sich nicht geändert

Die Arbeit erfordert das Crawlen von Informationen auf Amazon, aber der Anti-Crawler von Amazon ist zu leistungsfähig und dieselbe IP-Adresse wird blockiert. Python-Version: 3.6, IDE: Pycharm 2017.1. Ich habe viele Informationen im Internet überprüft und das Handbuch der Anforderungsbibliothek geles...

typecho 2017-06-12 09:24:11 0  1  1200

Python – Scrapy crawlt viel mehr Seiten, als tatsächlich Elemente eingibt?

{Code...} Warum besuche ich mehr Seiten, als tatsächlich Elemente eingebe, wenn ich Scrapy zum Crawlen verwende? Gibt es eine Möglichkeit, das Problem zu lösen, dass die Elemente nach längerem Crawlen nur wenige Daten enthalten? ?

PHP中文网 2017-05-18 10:47:40 0  1  663