Scrapy lernen: Grundlagen bis Fortgeschrittene

Scrapy-Installations-Tutorial: Vom Einstieg bis zur Beherrschung sind spezifische Codebeispiele erforderlich

Einführung:
Scrapy ist ein leistungsstarkes Python-Open-Source-Webcrawler-Framework, das zum Crawlen von Webseiten, zum Extrahieren von Daten sowie zum Durchführen von Datenbereinigung und -persistenz verwendet werden kann Warten Sie auf eine Reihe von Aufgaben. Dieser Artikel führt Sie Schritt für Schritt durch den Scrapy-Installationsprozess und stellt spezifische Codebeispiele bereit, die Ihnen dabei helfen, von den ersten Schritten bis zur Beherrschung des Scrapy-Frameworks zu gelangen.

1. Scrapy installieren
Um Scrapy zu installieren, stellen Sie zunächst sicher, dass Sie Python und pip installiert haben. Öffnen Sie dann ein Befehlszeilenterminal und geben Sie den folgenden Befehl zur Installation ein:

pip install scrapy

Der Installationsvorgang kann einige Zeit dauern, bitte haben Sie etwas Geduld. Wenn Sie Berechtigungsprobleme haben, versuchen Sie, dem Befehl sudo voranzustellen. sudo。

二、创建Scrapy项目
安装完成后，我们可以使用Scrapy的命令行工具创建一个新的Scrapy项目。在命令行终端中，进入您想要创建项目的目录，并执行以下命令：

scrapy startproject tutorial

这将在当前目录下创建一个名为"tutorial"的Scrapy项目文件夹。进入该文件夹，我们可以看到如下的目录结构：

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        middlewares.py
        pipelines.py
        settings.py
        spiders/
            __init__.py

其中，scrapy.cfg是Scrapy项目的配置文件，tutorial文件夹是我们自己的代码文件夹。

三、定义爬虫
在Scrapy中，我们使用爬虫（spider）来定义抓取网页和提取数据的规则。在spiders目录下创建一个新的Python文件，命名为quotes_spider.py（可以根据实际需求自行命名），然后使用以下代码定义一个简单的爬虫：

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

在上述代码中，我们创建了一个名为QuotesSpider的爬虫。其中，name属性是爬虫的名称，start_urls属性是我们希望抓取的第一个页面的URL，parse方法是爬虫默认的解析方法，用于解析网页和提取数据。

四、运行爬虫
在命令行终端中，进入项目的根目录下（即tutorial文件夹），并执行以下命令来启动爬虫并开始抓取数据：

scrapy crawl quotes

爬虫将会开始抓取初始URL中的页面，并根据我们定义的规则进行解析和提取数据。

五、保存数据
一般情况下，我们会将抓取到的数据进行保存。在Scrapy中，我们可以使用Item Pipeline来实现数据的清洗、处理和存储。在pipelines.py文件中，添加以下代码：

import json

class TutorialPipeline:
    def open_spider(self, spider):
        self.file = open('quotes.json', 'w')

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + "
"
        self.file.write(line)
        return item

在上述代码中，我们创建了一个名为TutorialPipeline的Item Pipeline。其中，open_spider方法在爬虫启动时会被调用，用于初始化文件；close_spider方法在爬虫结束时会被调用，用于关闭文件；process_item方法会对每个抓取到的数据项进行处理和保存。

六、配置Scrapy项目
在settings.py文件中，可以对Scrapy项目进行各种配置。以下是一些常用的配置项：

• ROBOTSTXT_OBEY：是否遵守robots.txt协议；
• USER_AGENT：设置用户代理，在爬虫中可以模拟不同的浏览器；
• ITEM_PIPELINES：启用和配置Item Pipeline；
• DOWNLOAD_DELAY
2. Erstellen Sie ein Scrapy-Projekt

Nachdem die Installation abgeschlossen ist, können wir das Befehlszeilentool von Scrapy verwenden, um ein neues Scrapy-Projekt zu erstellen. Gehen Sie im Befehlszeilenterminal in das Verzeichnis, in dem Sie das Projekt erstellen möchten, und führen Sie den folgenden Befehl aus:

rrreee
Dadurch wird ein Scrapy-Projektordner mit dem Namen „tutorial“ im aktuellen Verzeichnis erstellt. Wenn wir den Ordner betreten, sehen wir die folgende Verzeichnisstruktur:

rrreee🎜 Darunter ist scrapy.cfg die Konfigurationsdatei des Scrapy-Projekts und der Ordner tutorial unser Eigener Code-Ordner. 🎜🎜3. Crawler definieren🎜In Scrapy verwenden wir Spider, um Regeln für das Crawlen von Webseiten und das Extrahieren von Daten zu definieren. Erstellen Sie eine neue Python-Datei im Verzeichnis spiders, nennen Sie sie quotes_spider.py (Sie können sie entsprechend Ihren tatsächlichen Anforderungen benennen) und verwenden Sie dann den folgenden Code, um eine zu definieren einfacher Crawler: 🎜 rrreee🎜Im obigen Code haben wir eine Spinne namens QuotesSpider erstellt. Darunter ist das Attribut name der Name des Crawlers, das Attribut start_urls ist die URL der ersten Seite, die wir crawlen möchten, und das Attribut parse code>-Methode ist die Standardmethode für den Crawler. Die Parsing-Methode wird zum Parsen von Webseiten und zum Extrahieren von Daten verwendet. 🎜🎜4. Führen Sie den Crawler aus. 🎜Geben Sie im Befehlszeilenterminal das Stammverzeichnis des Projekts ein (d. h. den Ordner <code>tutorial) und führen Sie den folgenden Befehl aus, um den Crawler zu starten und mit dem Crawlen der Daten zu beginnen: 🎜rrreee🎜 Der Crawler beginnt mit dem Crawlen der Seite in der ursprünglichen URL und analysiert und extrahiert Daten gemäß den von uns definierten Regeln. 🎜🎜5. Daten speichern🎜Unter normalen Umständen speichern wir die erfassten Daten. In Scrapy können wir Item Pipeline verwenden, um Daten zu bereinigen, zu verarbeiten und zu speichern. Fügen Sie in der Datei pipelines.py den folgenden Code hinzu: 🎜rrreee🎜Im obigen Code haben wir eine Item-Pipeline mit dem Namen TutorialPipeline erstellt. Unter anderem wird die Methode open_spider aufgerufen, wenn der Crawler mit der Initialisierung der Datei beginnt; die Methode close_spider wird aufgerufen, wenn der Crawler endet, um die Datei zu schließen; process_item Die Methode verarbeitet und speichert jedes erfasste Datenelement. 🎜🎜6. Konfigurieren Sie das Scrapy-Projekt🎜In der Datei settings.py können Sie verschiedene Konfigurationen für das Scrapy-Projekt konfigurieren. Im Folgenden sind einige häufig verwendete Konfigurationselemente aufgeführt: 🎜

• ROBOTSTXT_OBEY: ob das robots.txt-Protokoll eingehalten werden soll 🎜
• USER_AGENT: Legen Sie fest Benutzeragent, im Crawler können verschiedene Browser simuliert werden; 🎜
• ITEM_PIPELINES: Item Pipeline aktivieren und konfigurieren; 🎜
• DOWNLOAD_DELAY: Downloadverzögerung festlegen, um Fehler zu vermeiden Schäden an der Zielwebsite. Übermäßiger Druck. 🎜🎜🎜 7. Zusammenfassung 🎜Durch die oben genannten Schritte haben wir die Installation und Verwendung von Scrapy abgeschlossen. Ich hoffe, dass dieser Artikel Ihnen dabei helfen kann, sich von den ersten Schritten an mit dem Scrapy-Framework vertraut zu machen. Wenn Sie mehr über die erweiterten Funktionen und die Verwendung von Scrapy erfahren möchten, lesen Sie bitte die offizielle Scrapy-Dokumentation und üben und erkunden Sie anhand tatsächlicher Projekte. Ich wünsche Ihnen viel Erfolg in der Welt der Reptilien! 🎜

Das obige ist der detaillierte Inhalt vonScrapy lernen: Grundlagen bis Fortgeschrittene. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!