Python-Scrapy-Crawler-Fehler

Python Scrapy hat keine anderen Code-Fehlermeldungen. . . nur das

世界只因有你 2017-05-27 17:39:33 0  1  779

Ausgabe von Scrapy-LOG-Informationen in eine Datei – Stapelüberlauf

Wie gebe ich Scrapy LOG-Informationen in eine Datei aus?

高洛峰 2017-06-28 09:23:20 0  1  952

Wie konvertiere ich eine Antwort in Scrapy in ein Objekt?

Wie konvertiere ich eine Antwort in Scrapy in ein Objekt?

Laical 2020-04-22 17:49:46 0  0  1032

Python konnte Scrapy nicht installieren

Ich lerne etwas über Python-Crawler und muss die Scrapy-Bibliothek installieren. Ursprünglich wurde mir angezeigt, dass die Version meiner Pip-Bibliothek nicht die neueste ist. Daher habe ich meine Pip-Bibliothek aktualisiert, sie kann jedoch immer noch nicht installiert werden. Die Fehlermeldung la...

为情所困 2017-05-18 10:58:49 0  2  656

Scrapy, wie man die ursprüngliche Start-URL erhält

Wenn Scrapy crawlt, ändert sich die ursprüngliche Start-URL aufgrund einer Umleitung oder aus anderen Gründen. Wie kann ich die ursprüngliche Start-URL erhalten?

代言 2017-06-28 09:23:41 0  1  1074

python – Von Scrapy gescrapte Daten können nicht in Piplines angezeigt werden

Die Daten werden durch Scrapy erfasst, können jedoch ohne Auswirkung an Pipelines zurückgegeben werden. Die Ergebnisse können nicht gedruckt werden.

我想大声告诉你 2017-05-18 10:57:53 0  2  870

Python – Scrapy crawlt viel mehr Seiten, als tatsächlich Elemente eingibt?

{Code...} Warum besuche ich mehr Seiten, als tatsächlich Elemente eingebe, wenn ich Scrapy zum Crawlen verwende? Gibt es eine Möglichkeit, das Problem zu lösen, dass die Elemente nach längerem Crawlen nur wenige Daten enthalten? ?

PHP中文网 2017-05-18 10:47:40 0  1  732

python – Fragen zur Scrapy ItemLoader-Datenbereinigung

Wenn Sie Scrapy zum Erfassen von Daten verwenden, verwenden Sie die Itemloader-Klasse. Wenn der vom Selektor entnommene Wert leer ist, geben Sie scrapy.Field() ein und rufen Sie filter() auf. Wenn der Selektorwert nicht leer ist, wird tatsächlich „Wert“ zurückgegeben. . Wenn der Selektor herausgenom...

PHPz 2017-05-27 17:39:47 0  1  1207

python - Wie kann ich mit Scrapy eine neue URL anfordern und die angegebene Funktion zurückrufen?

Bezüglich der Verwendung von Scrapy unter Python3 {code...} Wenn ich den obigen Code ausführe, kann ich json_url und die entsprechende Antwortfunktion get_score nicht erfolgreich aufrufen.

仅有的幸福 2017-06-28 09:25:02 0  1  956

python – Verwenden Sie das Scrapy-Framework, um Baidu-Bilder zu crawlen und blockiert zu werden

Die Anforderungsadressen-URL ist die über Firefox erhaltene JSON-Adresse. Sie kann mit einem Browser geöffnet werden, wurde jedoch beim Crawlen mit Scrapy gesperrt. https://image.baidu.com/searc...

给我你的怀抱 2017-05-24 11:34:48 0  3  701

Der PC-Zugriff ist zu einem mobilen Adressproblem geworden#Python#Scrapy

Verwenden Sie Scrapy, um Himalaya zu crawlen und die PC-Adresse zu crawlen. Die Antwort auf den Eintragslink ist in Ordnung, aber die nachfolgende Antwort sieht die mobile Adresse. . . . Der Spider-Code lautet wie folgt: {code...} Konsolenausgabe: Eine middlewares.RotateUserAgentMiddleware wurde ges...

淡淡烟草味 2017-06-30 09:55:13 0  2  1123

Wenn Scrapy den Inhalt der gesamten Website crawlen möchte, müssen dann die URLs aller Seiten in die Warteschlange gestellt werden, bevor mit dem Extrahieren des Inhalts begonnen wird?

Wenn Scrapy den Inhalt der gesamten Website crawlen möchte, sollten dann die URLs aller Seiten in die Warteschlange gestellt werden, bevor mit dem Extrahieren des Inhalts begonnen wird?

Laical 2020-04-30 16:05:00 0  0  1096

Scrapy hat ein Speicherleckproblem.

Wenn ich einen Crawler schreibe, läuft er immer eine Weile (nicht länger als 12 Stunden), bevor er OOMed wird. Sehr hilflos! ! ! Laut offizieller Dokumentation wird dieses prefs() verwendet, aber das Problem kann nicht gefunden werden. {Code...} Der Crawler-Prozess besteht darin, die Links des a-Tag...

仅有的幸福 2017-06-30 09:53:22 0  1  926

python – Über TwistedPipline-Fehler in Scrapy

{code...} Es gibt absolut kein Problem mit dem von crawlspider zurückgegebenen Element. Bei der Verbindung mit TwistedPipline wird ein Fehler gemeldet. Kann ein Lehrer bei der Analyse des Fehlercodes {code...} helfen?

给我你的怀抱 2017-05-18 10:56:26 0  1  643

Rückgabewert der zurückgegebenen Funktion in Scrapy – Stapelüberlauf

Wie in der Abbildung gezeigt: Ich habe parse_voucher in der Yield-Funktion aufgerufen, um den entsprechenden Wert zu erhalten, und dann die mit parse_voucher erhaltenen Daten in der parse_store-Funktion zurückgegeben. Bitte geben Sie mir einen Rat... Danke

漂亮男人 2017-05-18 10:51:55 0  2  733

Python – Scrapy erfasst doppelten Inhalt der CNKI-Antwort

Beim Durchlaufen der URL {code...}, die das Umblättern anfordert, ist die Antwortanforderung jedes Mal derselbe. Dies ist jedoch nicht der Fall, wenn Postman zum separaten Anfordern der Paging-URLs verwendet wird habe dieses Problem. = = Wurden Sie gesperrt? Das war noch nie so.

黄舟 2017-06-30 09:55:07 0  3  1009

python – Scrapy simulierte Anmeldung stößt auf 404-Problem

Ich verwende Python, um die Anmeldung auf einer Website zu simulieren, aber es treten immer wieder 404-Probleme auf. Bitte geben Sie mir eine Anleitung! Code – Codierung: utf-8 – import scrapyfrom scrapy.http import Request, FormRequestfrom scrapy.selector import Selector class StackSpiderSpider(sc....

黄舟 2017-05-18 11:01:22 0  1  1118

Python – Scrapy-XPath-Seitenanalyse kann nicht gefunden werden

Das Folgende ist der HTML-{Code...} der Seitenkategorie. Ich verwende XPath, um Text zu extrahieren. Ich kann den für diese Kategorie gemeldeten Fehler in der Liste finden: name = f.xpath(). OK, Text kann nicht extrahiert werden. Der Ausführungscode kann nicht gefunden werden. Bitte helfen Sie mir h...

PHP中文网 2017-06-14 10:51:10 0  2  1130

python – Probleme bei der Installation von Scrapy unter Ubuntu

Das im Bild unten gezeigte Problem tritt auf. Wie soll ich es um Hilfe bitten?

迷茫 2017-05-16 13:28:03 0  2  596

python – Scrapy verwendet XPath, um Fehler auf Chinesisch zu melden

Problembeschreibung {Code...} Fehler: ValueError: Alle Zeichenfolgen müssen XML-kompatibel sein: Unicode oder ASCII, keine NULL-Bytes oder Steuerzeichen

大家讲道理 2017-06-30 09:55:44 0  2  1500