node.js - node crawler, comment utiliser le pool IP pour empêcher l'anti-crawling ?

Le problème est le suivant. Je suis un débutant qui vient de commencer à apprendre le nœud. Bien sûr, c'est évidemment destiné aux robots d'exploration. Ensuite, j'ai récemment lu un roman, mais il y avait trop de publicités sur ces sites Web de romans gratuits, j'ai donc prévu d'écrire un robot pou...

为情所困 2017-06-05 11:13:33 0  1  1228

Comment le robot d'exploration PHP accède-t-il à l'agent du robot d'exploration dynamique ?

Comment le robot d'exploration php accède-t-il à l'agent du robot d'exploration ? Avez-vous déjà utilisé python ? Est-ce la même méthode d'accès que php ?

Laical 2020-03-13 17:10:19 0  0  1098

Robot d'exploration Web - Introduction au robot d'exploration Python

Je suis sur le point d'être en deuxième année, j'ai étudié Python par moi-même et je connais la grammaire de base. Je veux apprendre l'exploration, mais je pense que cela implique beaucoup de connaissances. Y a-t-il quelqu'un qui l'a expérimenté et qui peut résumer ce qu'il sait, ou comment apprendr...

欧阳克 2017-07-05 10:34:11 0  3  1188

Robot d'exploration Web - Problème de robot d'exploration de requêtes Python

Lorsque j'utilisais le robot d'exploration de requêtes, un problème est survenu. Après avoir soumis mon compte et mon mot de passe, la page Web n'était pas soumise au début, il y avait un logo anti-swipe et l'URL ne changeait pas après l'actualisation. , les données de la page Web seraient Soumettre...

仅有的幸福 2017-05-27 17:39:37 0  1  562

python - Des questions sur l'exploration d'images?

Les robots d'exploration d'aujourd'hui analysent généralement les images à partir de HTML, mais le problème est que certains chemins d'images sont écrits en JS. Comment grimper cela ? Je sais que vous pouvez afficher les images à l'intérieur de la source en ouvrant le point f12 dans le navigateur, m...

我想大声告诉你 2017-06-28 09:25:40 0  2  1033

Robot d'exploration Web - L'adresse IP du proxy définie par le robot Python request.get n'a pas changé

Le travail nécessite d'explorer des informations sur Amazon, mais l'anti-crawler d'Amazon est trop puissant et la même adresse IP sera bloquée. Version Python : 3.6, IDE : Pycharm 2017.1. J'ai vérifié beaucoup d'informations sur Internet et lu le manuel de la bibliothèque de requêtes, mais c'est tou...

typecho 2017-06-12 09:24:11 0  1  1200

Robot d'exploration Web - Le module de requête python3.4.1 signale l'erreur 'list', l'objet n'a pas d'attribut 'get'

J'ai utilisé Python pour écrire un robot qui explore les adresses IP. Étant donné que le site Web est anti-crawler, j'ai écrit un agent et utilisé le pool de threads pour ouvrir 10 threads afin d'explorer les adresses IP. Cependant, l'objet d'erreur « liste » n'a aucun attribut. get' a été signalé d...

世界只因有你 2017-06-12 09:24:16 0  3  3491

Web crawler - node.js crawler La fonction d'appel externe ne peut pas obtenir la valeur de la variable

Récemment, j'ai voulu écrire un robot pour lire des romans, mais j'ai rencontré quelques difficultés. console.log(catalogUrl) peut imprimer l'URL requise, mais ce que j'attends, c'est que je puisse obtenir l'URL du catalogue en appelant la fonction var xxx = getCatalogUrl. (livre) en externe. J'essa...

習慣沉默 2017-05-16 13:25:17 0  2  529

python - examen du robot d'exploration csdn

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py D'après les commentaires des lignes 87 et 88, pourquoi doit-il être converti en ce lien lors de l'utilisation d'un robot pour commenter les articles csdn ? Ceci Comment avez-vous obtenu le lien ? J'ai regardé le code de la page W...

仅有的幸福 2017-05-18 10:53:42 0  2  857

java - Un problème avec l'exploration d'images?

Je viens de modifier le POM. Vous pouvez télécharger à nouveau le code source. C'est l'adresse du projet du robot que j'ai écrit. Le projet ne signale pas d'erreur, mais le problème est qu'après avoir téléchargé l'image dans la zone locale, l'image est. souvent incomplet, comme suit : Il s'agit du c...

天蓬老师 2017-06-23 09:12:30 0  1  841

redis - Lors de l'exécution d'un robot d'exploration Python, la version MySQL est 5.7 et une erreur est toujours signalée

Lors de l'exécution du robot d'exploration Python, la version de MySQL est 5.7 et une erreur est toujours signalée {code...} Quel est le problème ? Comment le résoudre?

扔个三星炸死你 2017-06-12 09:19:42 0  2  913

Comment utiliser le robot PHP pour collecter Amazon ?

Depuis que la dernière mise à jour du site Web d’Amazon a provoqué le blocage du robot d’exploration, la politique anti-pocket d’Amazon est désormais encore plus stricte. En conséquence, la collecte normale ne peut pas être effectuée. Y a-t-il une nouvelle stratégie d’acquisition ?

Laical 2020-03-26 17:20:49 0  0  1211

selenium - Renseignez-vous sur l'outil d'exploration Python

1) Ce que je veux capturer, ce sont les fans d'une certaine célébrité sur Instagram 2) Le site Instagram PC utilise beaucoup de rendu js 3) Je n'ai jamais écrit de robot, et le patron aura besoin des données demain. J'utilise actuellement BeautifulSoup. , Selenium et phantomjs. La démo du code est p...

阿神 2017-06-28 09:22:20 0  1  996

python - Problèmes rencontrés lors de l'exploration de la liste d'articles en arrière-plan Csdn après que le robot d'exploration simule la connexion

Le robot d'exploration s'est effectivement connecté, car je peux explorer les informations personnelles et les capturer, mais l'URL dans l'image ci-dessous ne peut pas être capturée : L'URL est : http://write.blog.csdn.net/postlist, qui est votre csdn Dans les coulisses. Permettez-moi de poster le c...

ringa_lee 2017-05-18 10:51:59 0  2  1068

python - Comment explorer par lots des images d'une page Web à l'aide d'un robot d'exploration?

Comme le montre l'image, il est difficile d'afficher et de charger des images via le réseau et de cliquer avec le bouton droit pour les enregistrer une par une. Existe-t-il un moyen d'écrire un robot pour récupérer par lots les images ici ?

给我你的怀抱 2017-06-28 09:25:48 0  3  1181

html - "Échec de la recherche DNS" apparaît lors de l'exploration, mais il n'y a aucun problème lors de l'ouverture de la page Web. Que se passe-t-il ?

RT, lors de l'utilisation de Python pour l'exploration, tout était normal au début. Soudain, la page Web est restée bloquée. Après avoir attendu un moment, elle est revenue à la normale. Cependant, lors de l'exploration à nouveau, elle signalera "Échec de la recherche DNS". . J'ai essayé d...

PHP中文网 2017-06-14 10:50:53 0  1  1213

python - L'application doute du code source du robot d'exploration Alibaba

1. Problème actuel : rien ne se passe lorsque j'exécute le fichier py. Quel est le problème ? 2. Je suis un novice complet, je n'ai jamais été exposé à py et j'ai seulement appris les bases du html+css. Mais parce qu'un projet de l'entreprise avait besoin de collecter des informations sur les fourni...

阿神 2017-06-22 11:51:27 0  1  1881

Robot d'exploration Web – Le robot d'exploration Java a obtenu le lien de l'image mais ne peut pas télécharger l'image

Le code de la ressource image correspondante src obtenu par le robot en HTML est le suivant. Mais lorsque la ressource est convertie en lien via le code pour télécharger l'image, une erreur 400 est signalée. Cependant, j'utilise Chrome pour tester si le code est utilisé. le lien existe. Il a été con...

黄舟 2017-05-17 10:01:58 0  2  582

python - Lors de l'écriture d'un robot, il n'y a pas de jeton CSRF dans le code source. Comment l'obtenir?

Lors de l'écriture d'un robot pour explorer AliExpress, j'ai vu le jeton csrf dans le POST de NTEWROK, mais comment puis-je obtenir la valeur csrf lors de la visualisation du code source de la page ? Merci.

漂亮男人 2017-05-24 11:35:05 0  2  796

Python - Enregistrement du contenu du robot dans des fichiers texte Problèmes d'encodage

Testez un robot d'exploration très simple qui enregistre le contenu textuel d'une page Web très minimaliste sur votre ordinateur local. Finalement une erreur s'est produite : {code...} Le code est le suivant : {code...}

欧阳克 2017-06-12 09:26:21 0  1  859