python - Les données récupérées par Scrapy ne peuvent pas être affichées dans les piplines

Les données sont capturées via Scrapy, et elles peuvent être renvoyées aux pipelines mais n'ont aucun effet. Les résultats ne peuvent pas être imprimés.

我想大声告诉你 2017-05-18 10:57:53 0  2  845

javascript - Pourquoi ne puis-je pas explorer une page si elle contient beaucoup de données lorsque j'utilise PhantomJS?

Je souhaite explorer une page de recherche Taobao. C'est une page générée par le rendu js, j'ai donc choisi de l'explorer avec phantomjs. Mais un problème est survenu lors du processus de récupération. Lorsqu'il y a plus de deux résultats de recherche, aucune donnée ne peut être obtenue. Mais la cap...

習慣沉默 2017-07-05 10:50:52 0  1  927

Comment une page Web se connecte-t-elle à une base de données pour capturer des informations ?

Il y a un bouton et une zone de saisie sur une page Web. Cliquez sur le bouton pour vous connecter à la base de données afin de capturer des informations, puis renvoyez les informations dans la zone de saisie de la page Web. Je suis un débutant. Y a-t-il une source à laquelle je peux me référer ?

神秘人 2020-12-21 19:45:07 0  1  1180

javascript - À propos d'ajax, traitement sécurisé des données capturées par Front-end JQ

Concernant l'ajax et les sources de données, j'utilise généralement des notes jq pour lancer directement la valeur qui doit être publiée dans un élément, puis la récupérer. De cette façon, utilisez la console du navigateur pour modifier les attributs de la page, et la valeur de la publication ajax s...

漂亮男人 2017-05-16 13:16:33 0  1  468

python - L'émulateur Fiddler+Android capture l'application, les données JSON sont cryptées, comment les analyser?

Question : En essayant d'explorer l'application Shanxi Window, j'ai découvert que les données JSON ne sont pas une structure JSON directe. Elles semblent être cryptées. Existe-t-il un moyen d'analyser le contenu original ? Demande de réponse Après avoir vérifié certaines informations, il semble que ...

PHPz 2017-05-16 13:31:23 0  2  1417

php explore les données d'une page Web

J'ai certains besoins, comme explorer la page Web du marchand de plats à emporter Baidu https://wmpass.baidu.com/ucen..., mais cette page Web est écrite à l'aide d'un framework frontal modulaire. Si vous affichez le code source, vous ne pouvez que le faire. voir quelques-uns Le code source avant le ...

PHP中文网 2017-05-24 11:34:27 0  1  899

javascript - En plus d'Ajax, que peut-on utiliser d'autre pour appeler l'interface backend depuis le front-end?

L'entreprise souhaite créer un site Web officiel mobile et ne peut pas utiliser ajax pour appeler l'interface (afin de capturer des données pour d'autres), alors que peut-on utiliser d'autre ? ? ? Qu’est-ce que Baidu utilise pour capturer des données ?

仅有的幸福 2017-06-30 09:57:52 0  4  1193

Scrapy INSERT dans 'new_table' uniquement si aucun enregistrement n'existe dans la 'table actuelle'

J'ai essayé du scraping de sites Web. J'ai réussi à récupérer les données de la table de base de données actuelle. Mais je souhaite insérer "new_table" uniquement si l'enregistrement n'existe pas dans la "table actuelle". Mon code est (pipeline) table='products' table2='new_produ...

P粉122932466 2024-03-29 19:36:16 0  1  410

Heroku limite Puppeteer à ne courir que trois fois

Je développe un site Web qui utilise le marionnettiste pour récupérer les données d'un autre site Web. Lorsque j'exécute le serveur npm sur ma machine locale, il récupère très bien les données, mais lorsque je le déploie sur Heroku, il n'exécute que les trois premiers fichiers que je recherche, puis...

P粉986860950 2024-04-02 19:49:08 0  1  735

Chers experts en robots d'exploration Python, jetez un œil et voyez comment gérer l'anti-crawling sur ce site Web.

https://www.every saving.co.uk explore les données de ce site Web via Python, mais les données ne peuvent pas être renvoyées ! J'ai ajouté l'en-tête et l'adresse IP du proxy à explorer, mais cela n'a pas fonctionné. J'espère que vous pourrez l'essayer. . .

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  784

Stocker les résultats HTML DOM dans la base de données MySQL

J'essaie de stocker des données récupérées dans ma base de données. Il affiche simplement les résultats, donc l'exploration est normale. Mais il y a certainement une erreur dans la définition de la variable et dans sa transmission à mysql-insert. J'obtiens le message "Nouvel enregistrement créé...

P粉549986089 2023-09-15 23:41:06 0  1  598

Comment transférer en toute sécurité les fichiers de collection et d'index de la collection mongodb pour libérer de l'espace

Dans un environnement autonome, mongodb est utilisé pour mettre en cache le code source des pages Web capturées par les robots d'exploration. Il n'y a pas de jeux de répliques, de fragments, etc. Mongodb est utilisé uniquement pour des raisons de commodité et pour améliorer l'efficacité du stockage....

大家讲道理 2017-05-02 09:24:50 0  2  754

Scrapy : Guide d'enregistrement au format CSV avec des paramètres de colonne personnalisés

Donc, fondamentalement, je récupère des données sur le Web et j'ai un fichier de projet importé dans mon fichier spider principal. Maintenant, lorsque je récupère les données, les stocke dans un conteneur et les enregistre au format CSV, la colonne liée finit toujours par être la première colonne du...

P粉576184933 2024-04-04 14:01:17 0  1  467

python écrit les données de la xième colonne dans le xième fichier

Le robot d'exploration Python doit analyser un total de 65 pages de données et le nombre de colonnes dans chaque page de données est incertain. Je peux désormais capturer les données de chaque colonne, mais comme le nombre de colonnes est incertain, le nom du fichier écrit ne peut pas être déterminé...

漂亮男人 2017-06-12 09:23:40 0  1  788

WeChat $data =file_get_contents('php://input') ne peut pas obtenir les données et capturer le paquet

$timestamp  = $_GET['timestamp'] ;       $nonce = $_GET["nonce"];     $msg_signature  = $_GET['msg_signature'] ;    & nbsp

手机用户1576494449 2020-01-02 15:56:29 0  2  941

javascript - Plugin de sélection mobile, mais les données sont définies par elles-mêmes

C'est similaire à l'effet de droite, mais les données à l'intérieur sont personnalisées. Tout d'abord, c'est l'effet du terminal mobile. Deuxièmement, il existe de nombreuses listes pour afficher l'effet en fonction de l'image. les données obtenues en arrière-plan.

PHP中文网 2017-06-14 10:54:06 0  2  670

python - Questions de nettoyage des données Scrapy ItemLoader

Lorsque vous utilisez Scrapy pour capturer des données, utilisez la classe itemloader. Lorsque la valeur extraite par le sélecteur est vide, entrez scrapy.Field() et appelez filter(). Si la valeur du sélecteur n'est pas vide, elle renverra effectivement "value". . Si le sélecteur est retir...

PHPz 2017-05-27 17:39:47 0  1  1177

Problèmes avec l'efficacité de la base de données de stockage PHP

Programme 1 : for($i=0;$<100;$++){Connectez-vous à la base de données ; exécutez select pour avancer une valeur ; connectez-vous à la base de données ; exécutez updata pour stocker les données ; la base de données ;} Exécution du programme Cela prend environ 1,5 à 2 secondes. Programme 2 : Connec...

八哥 2023-09-22 22:46:18 0  0  908

javascript - axios télécharge des données vers php et renvoie des données vides

1.vue 2.0 utilise axios pour télécharger des données et renvoie des données vides, et l'arrière-plan est php 2.vue code {code...} 3.php code {code...} 4.console renvoie les données {code...} 5 .Remarques get L'obtention des données est valide. Pour une raison quelconque, les données post-soumission ...

过去多啦不再A梦 2017-06-20 10:05:38 0  2  1020

Utilisez Beautiful Soup pour extraire des données lorsque le div n'existe pas

J'essaie d'extraire des données de table à partir de milliers de fichiers HTML ou de données de site, mais les tables n'ont pas de div pour rendre cela facile, et je suis très nouveau sur beautifulsoup. À l'heure actuelle, je modifie manuellement tout le code HTML converti en CSV et je le mets dans ...

P粉818306280 2024-02-26 16:22:47 0  1  477