Utilisez superagent pour lancer une requête http. Après avoir obtenu la réponse, utilisez cheerio pour analyser le texte. Vous pouvez ensuite utiliser une syntaxe similaire à jQuery pour faire fonctionner le Dom.
Mongodb peut être utilisé pour le stockage de données, et mangouste peut être utilisée comme outil ORM correspondant.
Le coût de l’apprentissage de Python n’est-il pas connu pour être le plus bas ? ? Il est facile de démarrer avec les robots d'exploration Python. Il existe de nombreux tutoriels en ligne
Le coût d'apprentissage de Python n'est pas très élevé, laissez-moi parler de mon expérience Au début, j'ai utilisé urllib, ou urllib2, et j'ai découvert que j'étais très excité d'explorer les données Puis j'ai vu la page où Connection is Closed , j'ai découvert httplib2 puis j'ai vu les requêtes et maintenant je regarde scrapy
L'exploration est une métaphysique. Je pense que le but de la question est bon de vérifier la tendance des prix, mais je pense que nous pouvons d'abord nous fixer un petit objectif et explorer l'Encyclopédie Baidu~
Recommander https://github.com/alsotang/n...
Chaîne à outils sur chenilles :
Utilisez superagent pour lancer une requête http. Après avoir obtenu la réponse, utilisez cheerio pour analyser le texte. Vous pouvez ensuite utiliser une syntaxe similaire à jQuery pour faire fonctionner le Dom.
Mongodb peut être utilisé pour le stockage de données, et mangouste peut être utilisée comme outil ORM correspondant.
Exemple de code
https://github.com/zhanyouwei...
Le coût de l’apprentissage de Python n’est-il pas connu pour être le plus bas ? ? Il est facile de démarrer avec les robots d'exploration Python. Il existe de nombreux tutoriels en ligne
.scrapy est définitivement classé premier ! ! !
Démarrez avec Node de manière décisive, vous pouvez vous référer à mon expérience de novice https://github.com/hanzichi/f...
Le coût d'apprentissage de Python n'est pas très élevé, laissez-moi parler de mon expérience
Au début, j'ai utilisé urllib, ou urllib2, et j'ai découvert que j'étais très excité d'explorer les données
Puis j'ai vu la page où Connection is Closed , j'ai découvert httplib2
puis j'ai vu les requêtes
et maintenant je regarde scrapy
L'exploration est une métaphysique. Je pense que le but de la question est bon de vérifier la tendance des prix, mais je pense que nous pouvons d'abord nous fixer un petit objectif et explorer l'Encyclopédie Baidu~
Le robot d'exploration de nœuds ne coûte que 20
nodej
superagent + cheerio
nodejs
request
+cheerio
est également bon.