Maison développement back-end Tutoriel Python Une brève introduction au framework d'exploration (talonspider) en Python

Une brève introduction au framework d'exploration (talonspider) en Python

Jun 19, 2017 pm 03:24 PM
python 框架 爬虫

Cet article vous présente une brève introduction et la méthode d'utilisation du crawler frameworktalonspider développé à l'aide de python Les amis dans le besoin peuvent se référer à

. 1. Pourquoi écrire ceci ?

Pour certaines pages simples, il n'est pas nécessaire d'utiliser un framework relativement volumineux pour les explorer. Il serait gênant de les écrire à la main

J'ai donc écrit Talonspider pour cela. exigence :

•1. Extraction d'éléments à partir d'une seule page - cliquez ici pour une introduction détaillée
•2. Module Spider - cliquez ici pour une introduction détaillée

<.>2. Introduction && utilisation

2.1.item

Ce module peut être utilisé indépendamment Pour certains sites Web avec des requêtes relativement simples (comme uniquement obtenir des requêtes), vous pouvez rapidement. écrivez ce que vous voulez en utilisant ce module seul, par exemple (utilisez python3 ci-dessous, voir le répertoire d'exemples pour python2) :

2.1.1 Cible unique d'une seule page

Par exemple, pour obtenir. cette URL http://book.qidian.com/ Les informations sur le livre, la couverture et autres informations de info/1004608738 peuvent être écrites directement comme ceci :



import time
from talonspider import Item, TextField, AttrField
from pprint import pprint

class TestSpider(Item):
  title = TextField(css_select=&#39;.book-info>h1>em&#39;)
  author = TextField(css_select=&#39;a.writer&#39;)
  cover = AttrField(css_select=&#39;a#bookImg>img&#39;, attr=&#39;src&#39;)

  def tal_title(self, title):
    return title

  def tal_cover(self, cover):
    return &#39;http:&#39; + cover

if name == &#39;main&#39;:
  item_data = TestSpider.get_item(url=&#39;http://book.qidian.com/info/1004608738&#39;)
  pprint(item_data)
Copier après la connexion
Pour plus de détails, voir qidian_details_by_item.py

2.1. 1. Plusieurs objectifs sur une seule page

Par exemple, pour obtenir les 25 films affichés sur la page d'accueil de Douban 250 Movies, cette page a 25 objectifs Vous pouvez écrire directement comme ceci :



from talonspider import Item, TextField, AttrField
from pprint import pprint

# 定义继承自item的爬虫类
class DoubanSpider(Item):
  target_item = TextField(css_select=&#39;p.item&#39;)
  title = TextField(css_select=&#39;span.title&#39;)
  cover = AttrField(css_select=&#39;p.pic>a>img&#39;, attr=&#39;src&#39;)
  abstract = TextField(css_select=&#39;span.inq&#39;)

  def tal_title(self, title):
    if isinstance(title, str):
      return title
    else:
      return &#39;&#39;.join([i.text.strip().replace(&#39;\xa0&#39;, &#39;&#39;) for i in title])

if name == &#39;main&#39;:
  items_data = DoubanSpider.get_items(url=&#39;movie.douban.com/top250&#39;)
  result = []
  for item in items_data:
    result.append({
      &#39;title&#39;: item.title,
      &#39;cover&#39;: item.cover,
      &#39;abstract&#39;: item.abstract,
    })
  pprint(result)
Copier après la connexion
Pour plus de détails, voir douban_page_by_item.py

2.2.spider

Lorsque vous devez explorer des pages hiérarchiques, comme explorer tous les films Douban 250, la partie araignée est utile :



# !/usr/bin/env python
from talonspider import Spider, Item, TextField, AttrField, Request
from talonspider.utils import get_random_user_agent


# 定义继承自item的爬虫类
class DoubanItem(Item):
  target_item = TextField(css_select=&#39;p.item&#39;)
  title = TextField(css_select=&#39;span.title&#39;)
  cover = AttrField(css_select=&#39;p.pic>a>img&#39;, attr=&#39;src&#39;)
  abstract = TextField(css_select=&#39;span.inq&#39;)

  def tal_title(self, title):
    if isinstance(title, str):
      return title
    else:
      return &#39;&#39;.join([i.text.strip().replace(&#39;\xa0&#39;, &#39;&#39;) for i in title])


class DoubanSpider(Spider):
  # 定义起始url,必须
  start_urls = [&#39;https://movie.douban.com/top250&#39;]
  # requests配置
  request_config = {
    &#39;RETRIES&#39;: 3,
    &#39;DELAY&#39;: 0,
    &#39;TIMEOUT&#39;: 20
  }
  # 解析函数 必须有
  def parse(self, html):
    # 将html转化为etree
    etree = self.e_html(html)
    # 提取目标值生成新的url
    pages = [i.get(&#39;href&#39;) for i in etree.cssselect(&#39;.paginator>a&#39;)]
    pages.insert(0, &#39;?start=0&filter=&#39;)
    headers = {
      "User-Agent": get_random_user_agent()
    }
    for page in pages:
      url = self.start_urls[0] + page
      yield Request(url, request_config=self.request_config, headers=headers, callback=self.parse_item)

  def parse_item(self, html):
    items_data = DoubanItem.get_items(html=html)
    # result = []
    for item in items_data:
      # result.append({
      #   &#39;title&#39;: item.title,
      #   &#39;cover&#39;: item.cover,
      #   &#39;abstract&#39;: item.abstract,
      # })
      # 保存
      with open(&#39;douban250.txt&#39;, &#39;a+&#39;) as f:
        f.writelines(item.title + &#39;\n&#39;)


if name == &#39;main&#39;:
  DoubanSpider.start()
Copier après la connexion
Console :



/Users/howie/anaconda3/envs/work3/bin/python /Users/howie/Documents/programming/python/git/talonspider/examples/douban_page_by_spider.py
2017-06-07 23:17:30,346 - talonspider - INFO: talonspider started
2017-06-07 23:17:30,693 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250
2017-06-07 23:17:31,074 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=25&filter=
2017-06-07 23:17:31,416 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=50&filter=
2017-06-07 23:17:31,853 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=75&filter=
2017-06-07 23:17:32,523 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=100&filter=
2017-06-07 23:17:33,032 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=125&filter=
2017-06-07 23:17:33,537 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=150&filter=
2017-06-07 23:17:33,990 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=175&filter=
2017-06-07 23:17:34,406 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=200&filter=
2017-06-07 23:17:34,787 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=225&filter=
2017-06-07 23:17:34,809 - talonspider - INFO: Time usage:0:00:04.462108

Process finished with exit code 0
Copier après la connexion
À ce moment, douban250.txt sera généré dans le répertoire actuel. Pour plus de détails, voir douban_page_by_spider.py.

3. Description

Il s'agit d'un travail d'étude Il y a encore de nombreux points à améliorer. Les commentaires sont les bienvenus.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

Video Face Swap

Video Face Swap

Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

PHP et Python: différents paradigmes expliqués PHP et Python: différents paradigmes expliqués Apr 18, 2025 am 12:26 AM

PHP est principalement la programmation procédurale, mais prend également en charge la programmation orientée objet (POO); Python prend en charge une variété de paradigmes, y compris la POO, la programmation fonctionnelle et procédurale. PHP convient au développement Web, et Python convient à une variété d'applications telles que l'analyse des données et l'apprentissage automatique.

Choisir entre PHP et Python: un guide Choisir entre PHP et Python: un guide Apr 18, 2025 am 12:24 AM

PHP convient au développement Web et au prototypage rapide, et Python convient à la science des données et à l'apprentissage automatique. 1.Php est utilisé pour le développement Web dynamique, avec une syntaxe simple et adapté pour un développement rapide. 2. Python a une syntaxe concise, convient à plusieurs champs et a un écosystème de bibliothèque solide.

Python vs JavaScript: la courbe d'apprentissage et la facilité d'utilisation Python vs JavaScript: la courbe d'apprentissage et la facilité d'utilisation Apr 16, 2025 am 12:12 AM

Python convient plus aux débutants, avec une courbe d'apprentissage en douceur et une syntaxe concise; JavaScript convient au développement frontal, avec une courbe d'apprentissage abrupte et une syntaxe flexible. 1. La syntaxe Python est intuitive et adaptée à la science des données et au développement back-end. 2. JavaScript est flexible et largement utilisé dans la programmation frontale et côté serveur.

Le code Visual Studio peut-il être utilisé dans Python Le code Visual Studio peut-il être utilisé dans Python Apr 15, 2025 pm 08:18 PM

VS Code peut être utilisé pour écrire Python et fournit de nombreuses fonctionnalités qui en font un outil idéal pour développer des applications Python. Il permet aux utilisateurs de: installer des extensions Python pour obtenir des fonctions telles que la réalisation du code, la mise en évidence de la syntaxe et le débogage. Utilisez le débogueur pour suivre le code étape par étape, trouver et corriger les erreurs. Intégrez Git pour le contrôle de version. Utilisez des outils de mise en forme de code pour maintenir la cohérence du code. Utilisez l'outil de liaison pour repérer les problèmes potentiels à l'avance.

Peut-on exécuter le code sous Windows 8 Peut-on exécuter le code sous Windows 8 Apr 15, 2025 pm 07:24 PM

VS Code peut fonctionner sur Windows 8, mais l'expérience peut ne pas être excellente. Assurez-vous d'abord que le système a été mis à jour sur le dernier correctif, puis téléchargez le package d'installation VS Code qui correspond à l'architecture du système et l'installez comme invité. Après l'installation, sachez que certaines extensions peuvent être incompatibles avec Windows 8 et doivent rechercher des extensions alternatives ou utiliser de nouveaux systèmes Windows dans une machine virtuelle. Installez les extensions nécessaires pour vérifier si elles fonctionnent correctement. Bien que le code VS soit possible sur Windows 8, il est recommandé de passer à un système Windows plus récent pour une meilleure expérience de développement et une meilleure sécurité.

L'extension VScode est-elle malveillante? L'extension VScode est-elle malveillante? Apr 15, 2025 pm 07:57 PM

Les extensions de code vs posent des risques malveillants, tels que la cachette de code malveillant, l'exploitation des vulnérabilités et la masturbation comme des extensions légitimes. Les méthodes pour identifier les extensions malveillantes comprennent: la vérification des éditeurs, la lecture des commentaires, la vérification du code et l'installation avec prudence. Les mesures de sécurité comprennent également: la sensibilisation à la sécurité, les bonnes habitudes, les mises à jour régulières et les logiciels antivirus.

PHP et Python: une plongée profonde dans leur histoire PHP et Python: une plongée profonde dans leur histoire Apr 18, 2025 am 12:25 AM

PHP est originaire en 1994 et a été développé par Rasmuslerdorf. Il a été utilisé à l'origine pour suivre les visiteurs du site Web et a progressivement évolué en un langage de script côté serveur et a été largement utilisé dans le développement Web. Python a été développé par Guidovan Rossum à la fin des années 1980 et a été publié pour la première fois en 1991. Il met l'accent sur la lisibilité et la simplicité du code, et convient à l'informatique scientifique, à l'analyse des données et à d'autres domaines.

Comment exécuter des programmes dans Terminal Vscode Comment exécuter des programmes dans Terminal Vscode Apr 15, 2025 pm 06:42 PM

Dans VS Code, vous pouvez exécuter le programme dans le terminal via les étapes suivantes: Préparez le code et ouvrez le terminal intégré pour vous assurer que le répertoire de code est cohérent avec le répertoire de travail du terminal. Sélectionnez la commande Run en fonction du langage de programmation (tel que Python de Python your_file_name.py) pour vérifier s'il s'exécute avec succès et résoudre les erreurs. Utilisez le débogueur pour améliorer l'efficacité du débogage.

See all articles