python – Von Scrapy gescrapte Daten können nicht in Piplines angezeigt werden

Die Daten werden durch Scrapy erfasst, können jedoch ohne Auswirkung an Pipelines zurückgegeben werden. Die Ergebnisse können nicht gedruckt werden.

我想大声告诉你 2017-05-18 10:57:53 0  2  797

javascript - Warum kann ich die Seite nicht crawlen, wenn sie viele Daten enthält, wenn ich PhantomJS verwende?

Ich möchte eine Taobao-Suchseite crawlen. Es handelt sich um eine durch JS-Rendering generierte Seite, daher habe ich mich dafür entschieden, sie mit PhantomJS zu crawlen. Beim Abrufvorgang ist jedoch ein Problem aufgetreten. Bei mehr als zwei Suchergebnissen können keine Daten abgerufen werden. Der...

習慣沉默 2017-07-05 10:50:52 0  1  872

Wie stellt eine Webseite eine Verbindung zu einer Datenbank her, um Informationen zu erfassen?

Auf einer Webseite gibt es eine Schaltfläche und ein Eingabefeld. Klicken Sie auf die Schaltfläche, um eine Verbindung zur Datenbank herzustellen, um Informationen zu erfassen, und geben Sie die Informationen dann an das Eingabefeld auf der Webseite zurück. Ich bin ein Neuling. Gibt es eine Quelle, ...

神秘人 2020-12-21 19:45:07 0  1  1123

javascript – Über Ajax, sichere Verarbeitung der vom Front-End-JQ erfassten Daten

In Bezug auf Ajax und Datenquellen verwende ich normalerweise JQ-Notizen, um den Wert, der gepostet werden muss, direkt in ein Element zu werfen und ihn dann abzurufen. Verwenden Sie auf diese Weise die Browserkonsole, um die Seitenattribute zu ändern, und der Wert des Ajax-Beitrags wird ebenfalls g...

漂亮男人 2017-05-16 13:16:33 0  1  433

python - Fiddler+Android-Emulator erfasst die App, die JSON-Daten werden verschlüsselt, wie analysiert man sie?

Frage: Beim Versuch, die Shanxi Window-APP zu crawlen, habe ich festgestellt, dass die JSON-Daten keine direkte JSON-Struktur sind. Gibt es eine Möglichkeit, den ursprünglichen Inhalt zu analysieren? Antwort anfordern Nach Überprüfung einiger Informationen scheint es, dass einige Unternehmen die an ...

PHPz 2017-05-16 13:31:23 0  2  1338

PHP crawlt Webseitendaten

Ich habe einige Anforderungen, wie zum Beispiel das Crawlen der Webseite des Baidu-Imbisshändlers https://wmpass.baidu.com/ucen..., aber diese Webseite ist mit einem modularen Front-End-Framework geschrieben. Beim Betrachten des Quellcodes kann ich nur sehen Einige Quellcodes vor dem Rendern, die Ab...

PHP中文网 2017-05-24 11:34:27 0  1  860

javascript - Was kann außer Ajax noch verwendet werden, damit das Front-End die Back-End-Schnittstelle aufruft?

Das Unternehmen möchte eine mobile offizielle Website erstellen und kann Ajax nicht zum Aufrufen der Schnittstelle verwenden (um Daten für andere zu erfassen). Was kann also sonst noch verwendet werden? ? ? Was nutzt Baidu zur Datenerfassung?

仅有的幸福 2017-06-30 09:57:52 0  4  1114

Scrapy INSERT in „new_table' nur, wenn in „aktueller Tabelle' kein Datensatz vorhanden ist

Ich habe es mit Website-Scraping versucht. Ich habe die Daten erfolgreich aus der aktuellen Datenbanktabelle gelöscht. Aber ich möchte „new_table“ nur einfügen, wenn der Datensatz nicht in „aktuelle Tabelle“ vorhanden ist. Mein Code ist (pipeline) table='products' table2='new_products'`defsave(self,...

P粉122932466 2024-03-29 19:36:16 0  1  369

Heroku beschränkt den Puppenspieler darauf, nur dreimal zu rennen

Ich entwickle eine Website, die Puppenspieler verwendet, um Daten von einer anderen Website zu extrahieren. Wenn ich den npm-Server auf meinem lokalen Computer betreibe, löscht er die Daten einwandfrei, aber wenn ich ihn auf Heroku bereitstelle, führt er nur die ersten drei Dateien aus, nach denen i...

P粉986860950 2024-04-02 19:49:08 0  1  623

Liebe Python-Crawler-Experten, werfen Sie einen Blick darauf, wie Sie mit dem Anti-Crawling dieser Website umgehen können.

https://www.every saving.co.uk crawlt die Daten dieser Website über Python, die Daten können jedoch nicht zurückgegeben werden! Ich habe den Header und die Proxy-IP zum Crawlen hinzugefügt, aber es hat nicht funktioniert. Ich hoffe, ihr könnt es versuchen. . .

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  750

Speichern Sie HTML-DOM-Ergebnisse in der MySQL-Datenbank

Ich versuche, Scraped-Daten in meiner Datenbank zu speichern. Es werden nur die Ergebnisse ausgegeben, sodass das Crawlen normal ist. Aber es liegt definitiv ein Fehler bei der Definition der Variablen und deren Übergabe an mysql-insert vor. Ich erhalte die Meldung „Neuer Datensatz erfolgreich erste...

P粉549986089 2023-09-15 23:41:06 0  1  540

如何安全转移mongodb集合的collection和index文件以腾出空间

单机环境下使用mongodb缓存爬虫抓取的网页的源码，没有复制集、分片等，使用mongodb纯粹为了取用方便并提升存储效率。现在一个collection占用了50多G的空间，已将数据提取完毕，短期内不会用到它了，但抓取下来十...

大家讲道理 2017-05-02 09:24:50 0  2  705

Scrapy: Anleitung zum Speichern im CSV-Format mit benutzerdefinierten Spalteneinstellungen

Im Grunde entferne ich also Daten aus dem Web und habe eine Projektdatei in meine Haupt-Spider-Datei importiert. Wenn ich nun die Daten ergreife, sie in einem Container speichere und als CSV-Datei speichere, ist die verknüpfte Spalte am Ende immer die erste Spalte in der CSV-Datei. Wie lege ich die ...

P粉576184933 2024-04-04 14:01:17 0  1  370

Python schreibt die Daten der x-ten Spalte in die x-te Datei

Der Python-Crawler muss insgesamt 65 Datenseiten crawlen, und die Anzahl der Spalten auf jeder Datenseite ist ungewiss. Jetzt kann ich die Daten jeder Spalte erfassen, aber da die Anzahl der Spalten unsicher ist, kann der geschriebene Dateiname nicht bestimmt werden. Das Problem besteht darin, wie d...

漂亮男人 2017-06-12 09:23:40 0  1  749

WeChat $data =file_get_contents('php://input') kann die Daten nicht abrufen und das Paket nicht erfassen

$timestamp  = $_GET['timestamp'];       $nonce = $_GET["nonce"];     $msg_signature  = $_GET['msg_signature'];    &nbsp

手机用户1576494449 2020-01-02 15:56:29 0  2  916

javascript – Plug-in für die mobile Auswahl, aber die Daten werden selbst definiert

Es ähnelt dem Effekt auf der rechten Seite, aber die darin enthaltenen Daten sind zunächst einmal der Effekt des mobilen Endgeräts. Zweitens gibt es viele Listen, um den Effekt entsprechend dem Bild anzuzeigen die aus dem Hintergrund gewonnenen Daten.

PHP中文网 2017-06-14 10:54:06 0  2  609

Probleme mit der Effizienz der PHP-Speicherdatenbank

Programm 1: for($i=0;$<100;$++){Mit der Datenbank verbinden, ausführen, um die Verbindung zur Datenbank zu trennen; die Datenbank;} Programmausführung Es dauert etwa 1,5-2 Sekunden. Programm 2: Verbindung zur Datenbank herstellen für($i=0;$i<100;$i++){Ausführen, einmal ausführen; }Trennen Sie ...

八哥 2023-09-22 22:46:18 0  0  848

python – Fragen zur Scrapy ItemLoader-Datenbereinigung

Wenn Sie Scrapy zum Erfassen von Daten verwenden, verwenden Sie die Itemloader-Klasse. Wenn der vom Selektor entnommene Wert leer ist, geben Sie scrapy.Field() ein und rufen Sie filter() auf. Wenn der Selektorwert nicht leer ist, wird tatsächlich „Wert“ zurückgegeben. . Wenn der Selektor herausgenom...

PHPz 2017-05-27 17:39:47 0  1  1123

Verwenden Sie Beautiful Soup, um Daten zu extrahieren, wenn das Div nicht vorhanden ist

Ich versuche, Tabellendaten aus Tausenden von HTML-Dateien oder Site-Daten zu extrahieren, aber die Tabellen verfügen nicht über Divs, um dies zu vereinfachen, und ich bin sehr neu bei beautifulsoup. Im Moment bearbeite ich das gesamte in CSV konvertierte HTML manuell und füge es in meine Datenbank ...

P粉818306280 2024-02-26 16:22:47 0  1  439

So verbessern Sie die Effizienz des PHP-Excel-Exports

So verbessern Sie die Effizienz des PHPExcel-Exports (Hinweis: Das CVS-Format kann ignoriert werden, dieser Export hat den Betrieb von Zellen.) Was ich jetzt denke, ist: Optimieren von SQL hat jetzt eine Schnittstelle für Datendetails, und jetzt soll sie abgerufen werden Das ID-Array der Daten, die ...

欧阳克 2017-06-14 10:49:59 0  4  1241