selenium - Renseignez-vous sur l'outil d'exploration Python

1) Ce que je veux capturer, ce sont les fans d'une certaine célébrité sur Instagram 2) Le site Instagram PC utilise beaucoup de rendu js 3) Je n'ai jamais écrit de robot, et le patron aura besoin des données demain. J'utilise actuellement BeautifulSoup. , Selenium et phantomjs. La démo du code est p...

阿神 2017-06-28 09:22:20 0  1  994

Robot d'exploration Web - Introduction au robot d'exploration Python

Je suis sur le point d'être en deuxième année, j'ai étudié Python par moi-même et je connais la grammaire de base. Je veux apprendre l'exploration, mais je pense que cela implique beaucoup de connaissances. Y a-t-il quelqu'un qui l'a expérimenté et qui peut résumer ce qu'il sait, ou comment apprendr...

欧阳克 2017-07-05 10:34:11 0  3  1187

Comment le robot d'exploration PHP accède-t-il à l'agent du robot d'exploration dynamique ?

Comment le robot d'exploration php accède-t-il à l'agent du robot d'exploration ? Avez-vous déjà utilisé python ? Est-ce la même méthode d'accès que php ?

Laical 2020-03-13 17:10:19 0  0  1092

python - Des questions sur l'exploration d'images?

Les robots d'exploration d'aujourd'hui analysent généralement les images à partir de HTML, mais le problème est que certains chemins d'images sont écrits en JS. Comment grimper cela ? Je sais que vous pouvez afficher les images à l'intérieur de la source en ouvrant le point f12 dans le navigateur, m...

我想大声告诉你 2017-06-28 09:25:40 0  2  1033

Robot d'exploration Web - L'adresse IP du proxy définie par le robot Python request.get n'a pas changé

Le travail nécessite d'explorer des informations sur Amazon, mais l'anti-crawler d'Amazon est trop puissant et la même adresse IP sera bloquée. Version Python : 3.6, IDE : Pycharm 2017.1. J'ai vérifié beaucoup d'informations sur Internet et lu le manuel de la bibliothèque de requêtes, mais c'est tou...

typecho 2017-06-12 09:24:11 0  1  1200

node.js - node crawler, comment utiliser le pool IP pour empêcher l'anti-crawling ?

Le problème est le suivant. Je suis un débutant qui vient de commencer à apprendre le nœud. Bien sûr, c'est évidemment destiné aux robots d'exploration. Ensuite, j'ai récemment lu un roman, mais il y avait trop de publicités sur ces sites Web de romans gratuits, j'ai donc prévu d'écrire un robot pou...

为情所困 2017-06-05 11:13:33 0  1  1220

Robot d'exploration Web - Problème de robot d'exploration de requêtes Python

Lorsque j'utilisais le robot d'exploration de requêtes, un problème est survenu. Après avoir soumis mon compte et mon mot de passe, la page Web n'était pas soumise au début, il y avait un logo anti-swipe et l'URL ne changeait pas après l'actualisation. , les données de la page Web seraient Soumettre...

仅有的幸福 2017-05-27 17:39:37 0  1  560

Robot d'exploration Web - Le module de requête python3.4.1 signale l'erreur 'list', l'objet n'a pas d'attribut 'get'

J'ai utilisé Python pour écrire un robot qui explore les adresses IP. Étant donné que le site Web est anti-crawler, j'ai écrit un agent et utilisé le pool de threads pour ouvrir 10 threads afin d'explorer les adresses IP. Cependant, l'objet d'erreur « liste » n'a aucun attribut. get' a été signalé d...

世界只因有你 2017-06-12 09:24:16 0  3  3491

Web crawler - node.js crawler La fonction d'appel externe ne peut pas obtenir la valeur de la variable

Récemment, j'ai voulu écrire un robot pour lire des romans, mais j'ai rencontré quelques difficultés. console.log(catalogUrl) peut imprimer l'URL requise, mais ce que j'attends, c'est que je puisse obtenir l'URL du catalogue en appelant la fonction var xxx = getCatalogUrl. (livre) en externe. J'essa...

習慣沉默 2017-05-16 13:25:17 0  2  529

python - examen du robot d'exploration csdn

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py D'après les commentaires des lignes 87 et 88, pourquoi doit-il être converti en ce lien lors de l'utilisation d'un robot pour commenter les articles csdn ? Ceci Comment avez-vous obtenu le lien ? J'ai regardé le code de la page W...

仅有的幸福 2017-05-18 10:53:42 0  2  854

java - Un problème avec l'exploration d'images?

Je viens de modifier le POM. Vous pouvez télécharger à nouveau le code source. C'est l'adresse du projet du robot que j'ai écrit. Le projet ne signale pas d'erreur, mais le problème est qu'après avoir téléchargé l'image dans la zone locale, l'image est. souvent incomplet, comme suit : Il s'agit du c...

天蓬老师 2017-06-23 09:12:30 0  1  839

redis - Lors de l'exécution d'un robot d'exploration Python, la version MySQL est 5.7 et une erreur est toujours signalée

Lors de l'exécution du robot d'exploration Python, la version de MySQL est 5.7 et une erreur est toujours signalée {code...} Quel est le problème ? Comment le résoudre?

扔个三星炸死你 2017-06-12 09:19:42 0  2  912

Comment utiliser le robot PHP pour collecter Amazon ?

Depuis que la dernière mise à jour du site Web d’Amazon a provoqué le blocage du robot d’exploration, la politique anti-pocket d’Amazon est désormais encore plus stricte. En conséquence, la collecte normale ne peut pas être effectuée. Y a-t-il une nouvelle stratégie d’acquisition ?

Laical 2020-03-26 17:20:49 0  0  1199

angular.js - 百度爬虫如何处理“#”符号？

由于采用angular，整站都是ajax方式加载，这样非常不利于SEO。针对百度的angular的SEO成了问题。现在想问一下 百度的爬虫，如何处理URL中的#符号

高洛峰 2017-05-15 16:54:39 0  2  602

python爬虫 - scrapy使用redis的时候，redis需要进行一些设置吗？

用scrapy+redis+mongodb写了个爬虫，运行时不能爬取所有符合规则的网址，猜想是不是redis需要进行设置之类的，求高手解答。

巴扎黑 2017-04-24 09:12:00 0  1  474

python - Problèmes rencontrés lors de l'exploration de la liste d'articles en arrière-plan Csdn après que le robot d'exploration simule la connexion

Le robot d'exploration s'est effectivement connecté, car je peux explorer les informations personnelles et les capturer, mais l'URL dans l'image ci-dessous ne peut pas être capturée : L'URL est : http://write.blog.csdn.net/postlist, qui est votre csdn Dans les coulisses. Permettez-moi de poster le c...

ringa_lee 2017-05-18 10:51:59 0  2  1068

python - Comment explorer par lots des images d'une page Web à l'aide d'un robot d'exploration?

Comme le montre l'image, il est difficile d'afficher et de charger des images via le réseau et de cliquer avec le bouton droit pour les enregistrer une par une. Existe-t-il un moyen d'écrire un robot pour récupérer par lots les images ici ?

给我你的怀抱 2017-06-28 09:25:48 0  3  1180

html - "Échec de la recherche DNS" apparaît lors de l'exploration, mais il n'y a aucun problème lors de l'ouverture de la page Web. Que se passe-t-il ?

RT, lors de l'utilisation de Python pour l'exploration, tout était normal au début. Soudain, la page Web est restée bloquée. Après avoir attendu un moment, elle est revenue à la normale. Cependant, lors de l'exploration à nouveau, elle signalera "Échec de la recherche DNS". . J'ai essayé d...

PHP中文网 2017-06-14 10:50:53 0  1  1212

pyspider +mongodb 多个爬虫 result 如何指定 collection 名称

如题，我现在需要爬取多个网站的内容，但是结果结构是一样的。现在的配置resultdb 是一个db，每个爬虫的结果分别是不同的集合。而我想把这些结果保存到指定db下的指定集合，这个如何设置。请大侠帮我解答下。

过去多啦不再A梦 2017-04-28 09:05:44 0  1  950

python - L'application doute du code source du robot d'exploration Alibaba

1. Problème actuel : rien ne se passe lorsque j'exécute le fichier py. Quel est le problème ? 2. Je suis un novice complet, je n'ai jamais été exposé à py et j'ai seulement appris les bases du html+css. Mais parce qu'un projet de l'entreprise avait besoin de collecter des informations sur les fourni...

阿神 2017-06-22 11:51:27 0  1  1880