网页爬虫 - python爬虫案例
ringa_lee
ringa_lee 2017-04-17 17:50:11
0
1
1213

请问大家能不能给我一点提点,我想要知道有没有 简单 一点的 爬虫 案例可以让我摸索学习


目前已知的爬虫工具有:

  1. Beautiful Soup

  2. Scrapy

  3. cola

  4. pyspider

  5. PyQuery

  6. grab

ringa_lee
ringa_lee

ringa_lee

répondre à tous(1)
Ty80

Si vous n'en avez vraiment aucune idée, voici quelques informations pour votre référence, mais l'essentiel est que vous devriez les lire...

Tout d'abord, qu'est-ce qu'un web crawler :

  1. Vous pouvez simplement jeter un œil au robot d'exploration wiki-web

  2. Revenez sur ce site : l'école universitaire de mathématiques propose des enseignements simples (et des vidéos), qui, à mon avis, conviennent très bien aux débutants. Vous pouvez partir de cet article : Qu'est-ce qu'un robot d'exploration de sites Web

Vient ensuite le

Tutoriel d'introduction :

  1. En fait, il existe une méthode très simple : il suffit de choisir un outil d'exploration pour lire le document. Si vous n'avez aucune indication, vous pouvez choisir de lire le document Beautiful Soup Chinese. trop compliqué, il vous faudra du temps pour tout lire.

  2. À l'heure actuelle, l'École universitaire de mathématiques propose une série d'enseignements introductifs et d'enseignements pratiques. Je pense qu'ils devraient mériter une référence. Les premiers articles du cours d'introduction sont répertoriés ci-dessous :

    1. Commencez à utiliser Python pour écrire un robot d'exploration Web (Crawler)

    2. Comment installer Jupyter (Ipython Notebook)

    3. Introduction au fonctionnement de Jupyter (1)

    4. Comment utiliser GET pour explorer du contenu Web

    5. Comment utiliser POST pour explorer du contenu Web ?

    6. Comment utiliser la suite Python : BeautifulSoup4 pour analyser du contenu web

    7. Comment utiliser les requêtes Python et BeautifulSoup4 pour compléter le robot Taobao

L'étape suivante consiste à comprendre ces

outils et framework crawler :

  1. Cet endroit est très complet : liste d'outils de robots d'exploration Python avec lien de téléchargement du code Github

  2. Ce blog contient également de nombreux contenus pédagogiques

Pour les discussions sur les outils et frameworks de robots d'exploration, veuillez vous référer à cet article Zhihu : lors de l'écriture de robots d'exploration en Python, quelle méthode et quel framework sont les meilleurs ?


Je pense qu'il y a beaucoup de ressources sur Internet, on peut toutes les essayer, tout est difficile au début, allez !

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal