Python – So crawlen Sie Daten von umgeleiteten Websites

Ich lerne derzeit einige Kenntnisse über Crawler und verwende Selenium zum Crawlen einiger komplexer Websites. Ich bin auf ein Problem gestoßen. Die Arbeitsauftrags-Website, die ich crawlen muss (ich kenne das Passwort nicht), muss mich zuerst bei einem Authentifizierungssystem anmelden und dann auf...

怪我咯 2017-05-19 10:07:30 0  2  1047

python - Die Anzahl der Douyu-Follower wird als Ladebild angezeigt. Wie wird die Anzahl der Follower gecrawlt?

Crawlen der Anzahl der Douyu-Follower und Anzeigen von {code...} und Anzeigen von {code...} nach dem Laden der Website. Wie sollen wir diese Art von Daten crawlen?

巴扎黑 2017-07-05 10:34:08 0  1  991

So crawlen Sie js-verarbeiteten Code in Java

Seitenadresse: http://acm.hdu.edu.cn/showpro... Ziel des Crawlings: Wenn Sie den Code dieser Formeln crawlen möchten, sehen Sie den Code, den Sie beim Drücken von F12 in Chrome sehen: Der gecrawlte Code ist jedoch wie folgt Folgendes: Dieser Code zeigt nicht die richtige Formel an. Es scheint, dass ...

为情所困 2017-05-17 10:04:18 0  2  642

php - Können Sie mir bitte helfen, die regulären Regeln für das Crawlen der erforderlichen Daten einzusehen?

A. Der HTML-Code der zu crawlenden Seite: {code...} B. Die Crawling-Regel, die ich geschrieben habe: {code...} $reg_list = "/<div\s*topClassName\='top1'\s *topSwitch\='on'\s*productId\='(\d+)'\s*productName\='[\x7f-\xff]+'\s*class\='productP...

过去多啦不再A梦 2017-05-16 13:16:30 0  2  623

Webcrawler – Wie crawle ich die Bilder im Blog Park-Blog mit Python?

Ich habe einen kleinen Code geschrieben, um die Bilder im Blog Park zu crawlen. Dieser Code ist für einige Links wirksam, aber einige Links melden Fehler, sobald sie gecrawlt werden. {code...} Wie in der Abbildung gezeigt, kann das Bild korrekt gecrawlt werden, wenn die URL in {code...} geändert wir...

某草草 2017-05-18 10:45:39 0  1  926

python – Bitte sagen Sie mir, wie ich Jianshu crawlen kann, um in einem bestimmten Zeitraum Beiträge zu veröffentlichen.

Ich möchte Jianshus Beiträge in einem bestimmten Zeitraum crawlen, z. B. vom 13. April 2013 bis zum 13. Mai 2013. Die Idee, die ich ausprobieren möchte, ist wie folgt: Baidu verwendet die Site-Syntax von Baidu, um das Datum zu begrenzen 70 Beiträge. Googles Website Syntax-qualifizierte Datumsbeobach...

黄舟 2017-05-18 10:55:49 0  1  719

javascript - Warum kann ich die Seite nicht crawlen, wenn sie viele Daten enthält, wenn ich PhantomJS verwende?

Ich möchte eine Taobao-Suchseite crawlen. Es handelt sich um eine durch JS-Rendering generierte Seite, daher habe ich mich dafür entschieden, sie mit PhantomJS zu crawlen. Beim Abrufvorgang ist jedoch ein Problem aufgetreten. Bei mehr als zwei Suchergebnissen können keine Daten abgerufen werden. Der...

習慣沉默 2017-07-05 10:50:52 0  1  913

Wenn Scrapy den Inhalt der gesamten Website crawlen möchte, müssen dann die URLs aller Seiten in die Warteschlange gestellt werden, bevor mit dem Extrahieren des Inhalts begonnen wird?

Wenn Scrapy den Inhalt der gesamten Website crawlen möchte, sollten dann die URLs aller Seiten in die Warteschlange gestellt werden, bevor mit dem Extrahieren des Inhalts begonnen wird?

Laical 2020-04-30 16:05:00 0  0  1052

python – Anfragen zum Crawlen von [Dajie.com]-Jobinformationen verwenden, aber viele Male fehlgeschlagen. Können Sie mir helfen, herauszufinden, was mit meinem Code nicht stimmt? Wie soll es geändert werden?

Ich habe bereits mehrere statische Website-Daten gecrawlt und alles verlief relativ reibungslos. Dieses Mal bin ich auf Ajax gestoßen. Nachdem ich ein paar Dokumente gelesen hatte, hatte ich das Gefühl, dass es nicht schwierig war, also habe ich direkt angefangen, bin aber trotzdem steckengeblieben....

大家讲道理 2017-05-18 11:01:06 0  1  2152

Der PC-Zugriff ist zu einem mobilen Adressproblem geworden#Python#Scrapy

Verwenden Sie Scrapy, um Himalaya zu crawlen und die PC-Adresse zu crawlen. Die Antwort auf den Eintragslink ist in Ordnung, aber die nachfolgende Antwort sieht die mobile Adresse. . . . Der Spider-Code lautet wie folgt: {code...} Konsolenausgabe: Eine middlewares.RotateUserAgentMiddleware wurde ges...

淡淡烟草味 2017-06-30 09:55:13 0  2  1086

Das Reihenfolgeproblem von Pythons os.listdir beim Abrufen der Dateiliste

Dies ist die im Windows Explorer angezeigte Dateireihenfolge und die mit os.listdir erhaltene Listenreihenfolge sieht folgendermaßen aus: ['03.jpg', '1.jpg', '2.jpg', '3.jpg', '5. jpg', '6.png', 'test.url'] Wie kann ich die Dateien in der gleichen Reihenfolge wie im Windows Explorer erhalten ...

PHP中文网 2017-06-28 09:26:11 0  1  1798

So implementieren Sie schnittstellenloses Crawlen mit Python + Selenium + Chromedriver

Bei der Verwendung von Selenium zum Crawlen von 12306 habe ich festgestellt, dass PhantomJS nicht zum Crawlen verwendet werden kann. Es sollte sein, dass PhantomJS von der Website erkannt und gesperrt wird Der Wirkungsgrad ist gering. Jetzt habe ich zwei Fragen. Ich habe sie lange gegoogelt, aber ic...

迷茫 2017-05-18 10:53:13 0  2  901

Inline-Blöcke: Erkundung ihrer räumlichen Eigenschaften

Es gibt eine seltsame Lücke zwischen Inline-Blöcken. Ich kann damit leben, bis ich mit einem AJAX-Aufruf weitere Inhalte lade und diese kleine Lücke verschwindet. Ich weiß, dass mir hier etwas fehlt. div{width:100px;height:auto;border:1pxsolidred;outline:1pxsolidblue;margin:0;padding:0;display:inlin...

P粉360266095 2023-08-22 19:42:53 0  2  590

为什么下载Git-Extension的时候会与exploer.exe进程有冲突

如图显示，我想问一下windows explorer的进程为什么会和git extension有冲突....

某草草 2017-05-02 09:23:05 0  0  631

Weitere Projekte

Hat der Lehrer ähnliche statische Website-Projekte? Ich möchte es nachahmen, aber jetzt weiß ich nicht, wie man Materialien sammelt. Vielen Dank.

叶大大* 2019-04-14 00:01:11 0  3  1398

Curl durchsucht Webseiten nach Daten

Wenn der URL-Link https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_4480296238548479181%22%7D&n_type=0&p_from=1 lautet, wie werden die Webseiteninformationen gecrawlt?

phpcn_u68041 2017-12-07 10:08:47 0  5  1213

python - Wie erhalte ich beim Schreiben eines Crawlers kein CSRF-Token?

Beim Schreiben eines Crawlers zum Crawlen von AliExpress habe ich das CSRF-Token im POST von NTEWROK gesehen, aber wie erhalte ich den CSRF-Wert, wenn ich den Quellcode der Seite ansehe? Danke.

漂亮男人 2017-05-24 11:35:05 0  2  821

Im Puppeteer-Browser kam es zu unerwartetem Schließverhalten nach dem Klicken auf die Schaltfläche „Cookie akzeptieren'.

Ich versuche, mit node.js und puppeteer eine Website nach Live-Fußballinformationen zu crawlen, aber nach console.log("tryingtoselectteamelement") wird mein Browser sofort geschlossen. constpuppeteer=require("puppeteer");asyncfunctionopenPage(){constbrowser=awaitpuppet

P粉883278265 2023-08-16 21:40:51 0  1  467