python - Les données récupérées par Scrapy ne peuvent pas être affichées dans les piplines

Les données sont capturées via Scrapy, et elles peuvent être renvoyées aux pipelines mais n'ont aucun effet. Les résultats ne peuvent pas être imprimés.

我想大声告诉你 2017-05-18 10:57:53 0  2  815

javascript - Pourquoi ne puis-je pas explorer une page si elle contient beaucoup de données lorsque j'utilise PhantomJS?

Je souhaite explorer une page de recherche Taobao. C'est une page générée par le rendu js, j'ai donc choisi de l'explorer avec phantomjs. Mais un problème est survenu lors du processus de récupération. Lorsqu'il y a plus de deux résultats de recherche, aucune donnée ne peut être obtenue. Mais la cap...

習慣沉默 2017-07-05 10:50:52 0  1  896

Comment une page Web se connecte-t-elle à une base de données pour capturer des informations ?

Il y a un bouton et une zone de saisie sur une page Web. Cliquez sur le bouton pour vous connecter à la base de données afin de capturer des informations, puis renvoyez les informations dans la zone de saisie de la page Web. Je suis un débutant. Y a-t-il une source à laquelle je peux me référer ?

神秘人 2020-12-21 19:45:07 0  1  1146

php explore les données d'une page Web

J'ai certains besoins, comme explorer la page Web du marchand de plats à emporter Baidu https://wmpass.baidu.com/ucen..., mais cette page Web est écrite à l'aide d'un framework frontal modulaire. Si vous affichez le code source, vous ne pouvez que le faire. voir quelques-uns Le code source avant le ...

PHP中文网 2017-05-24 11:34:27 0  1  883

javascript - À propos d'ajax, traitement sécurisé des données capturées par Front-end JQ

Concernant l'ajax et les sources de données, j'utilise généralement des notes jq pour lancer directement la valeur qui doit être publiée dans un élément, puis la récupérer. De cette façon, utilisez la console du navigateur pour modifier les attributs de la page, et la valeur de la publication ajax s...

漂亮男人 2017-05-16 13:16:33 0  1  443

python - L'émulateur Fiddler+Android capture l'application, les données JSON sont cryptées, comment les analyser?

Question : En essayant d'explorer l'application Shanxi Window, j'ai découvert que les données JSON ne sont pas une structure JSON directe. Elles semblent être cryptées. Existe-t-il un moyen d'analyser le contenu original ? Demande de réponse Après avoir vérifié certaines informations, il semble que ...

PHPz 2017-05-16 13:31:23 0  2  1369

acquisition de données php ?

acquisition de données php ? acquisition de données php ? acquisition de données php ?

Mr.V 2017-07-27 21:56:28 0  4  2220

python - La page Web ne peut plus être explorée après la mise à jour des données

La page Web que j'ai explorée a mis à jour une information aujourd'hui, puis le robot d'exploration s'est exécuté mais ne l'a pas exploré {Code...} J'espère que les experts pourront être plus précis et communiquer davantage.

给我你的怀抱 2017-05-18 10:58:50 0  2  602

Échec de la lecture des données

Impossible d'obtenir les données de la base de données

2019-04-01 13:15:50 0  3  1056

php - Pouvez-vous m'aider à voir les règles habituelles pour explorer les données requises ?

A. Le code HTML de la page à explorer : {code...} B. La règle d'exploration que j'ai écrite : {code...} $reg_list = "/<div\s*topClassName\='top1'\s *topSwitch\='on'\s*productId\='(\d+)'\s*productName\='[\x7f-\xff]+'\s*class\='productP...

过去多啦不再A梦 2017-05-16 13:16:30 0  2  610

Comment recevoir des données de transmission TCP/IP en PHP

Récemment, TP5.1 a été utilisé pour faire en sorte que l'interface de capture de la caméra de capture de Hikvision appelle l'interface de données. Actuellement, les données de la caméra de capture de Hikvision peuvent être capturées localement, mais comment surveiller les données poussées en ligne ?...

XuPing.Yang 2022-04-11 19:07:55 0  1  1144

Utilisez Beautiful Soup pour extraire des données lorsque le div n'existe pas

J'essaie d'extraire des données de table à partir de milliers de fichiers HTML ou de données de site, mais les tables n'ont pas de div pour rendre cela facile, et je suis très nouveau sur beautifulsoup. À l'heure actuelle, je modifie manuellement tout le code HTML converti en CSV et je le mets dans ...

P粉818306280 2024-02-26 16:22:47 0  1  442

Stocker les résultats HTML DOM dans la base de données MySQL

J'essaie de stocker des données récupérées dans ma base de données. Il affiche simplement les résultats, donc l'exploration est normale. Mais il y a certainement une erreur dans la définition de la variable et dans sa transmission à mysql-insert. J'obtiens le message "Nouvel enregistrement créé...

P粉549986089 2023-09-15 23:41:06 0  1  563

Caractères de nouvelle ligne manquants lors de l'obtention des données de la base de données PostgreSQL à l'aide de PHP

Titre : Caractères de nouvelle ligne manquants lors de l'obtention de données de la base de données PostgreSQL à l'aide de PHP Texte : Lorsque j'utilise PHP pour récupérer des données d'une base de données PostgreSQL, j'ai rencontré un problème. J'utilise Navicat pour afficher les données dans la b...

P粉696146205 2023-08-06 13:44:42 0  1  644

Extraire le tableau de la base de données

Le tableau (une case à cocher) est stocké dans la base de données via unserialize(), comme le montre la figure, comment l'extraire et l'afficher normalement, par exemple, afficher : mathématiques,

杰瑞 2019-11-13 15:30:46 0  0  729

ajax ne peut pas obtenir de données

Comme mentionné dans le cours, les données ne peuvent pas être obtenues

鲜花批发 2019-08-25 18:20:53 0  1  1137

Utilisez la valeur de clé primaire des données comme index du tableau associatif pour obtenir les données

Utilisez la valeur de clé primaire des données comme index du tableau associatif pour obtenir les données

王林 2023-07-16 17:41:35 0  2  8051

python - Questions de nettoyage des données Scrapy ItemLoader

Lorsque vous utilisez Scrapy pour capturer des données, utilisez la classe itemloader. Lorsque la valeur extraite par le sélecteur est vide, entrez scrapy.Field() et appelez filter(). Si la valeur du sélecteur n'est pas vide, elle renverra effectivement "value". . Si le sélecteur est retir...

PHPz 2017-05-27 17:39:47 0  1  1139

Web scraping : attribut href manquant – Besoin de simuler les clics de souris pour le web scraping ?

Pour un projet de web scraping amusant, je souhaite collecter des données de la LNH à partir de ttps://www.nhl.com/stats/teams. Il existe une étiquette d'exportation Excel cliquable et je peux la trouver en utilisant Selenium et bs4. Malheureusement, c'est là que ça se termine : je n'arrive pas à ac...

P粉550823577 2024-04-04 10:32:06 0  1  3607

Utilisez Excel\VBA pour extraire des informations des pages Web

J'essaie de récupérer des données d'une page Web, j'ai besoin de 4 bits de données, dont 2 que j'ai pu récupérer, mais les 2 autres m'ont été suggérés. Ce n'est pas une URL fixe, mais cette URL a été récupérée depuis IE après une redirection, donc pour cet exemple j'utiliserai : https://cpc.farnell....

P粉555696738 2023-09-02 18:48:32 0  1  849