深度使用Scrapy：如何爬取HTML、XML、JSON資料？

Scrapy是一款強大的Python爬蟲框架，可以幫助我們快速、靈活地取得網路上的資料。在實際爬取過程中，我們會經常遇到HTML、XML、JSON等各種資料格式。在這篇文章中，我們將介紹如何使用Scrapy分別爬取這三種資料格式的方法。

一、爬取HTML資料

1. 建立Scrapy專案

首先，我們需要建立一個Scrapy專案。開啟命令列，輸入以下指令：

scrapy startproject myproject

這個指令將會在目前資料夾下建立一個叫做myproject的Scrapy專案。

2. 設定起始URL

接下來，我們需要設定起始的URL。在myproject/spiders目錄下，建立一個名為spider.py的文件，編輯文件，輸入以下程式碼：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def parse(self, response):
        pass

程式碼首先匯入了Scrapy函式庫，然後定義了一個爬蟲類MySpider，設定了一個名為myspider的spider名稱，並設定了一個起始URL為http://example.com。最後定義了一個parse方法。 parse方法預設會被Scrapy調用，用來處理回應資料。

3. 解析回應資料

接下來，我們需要解析回應資料。繼續編輯myproject/spiders/spider.py文件，加入以下程式碼：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def parse(self, response):
        title = response.xpath('//title/text()').get()
        yield {'title': title}

程式碼中，我們使用response.xpath()方法來取得HTML頁面中的標題。使用yield來傳回字典類型數據，包含了我們獲取到的標題。

4. 運行爬蟲

最後，我們需要運行Scrapy爬蟲。在命令列中輸入以下命令：

scrapy crawl myspider -o output.json

這個命令會將資料輸出到output.json檔案中。

二、爬取XML資料

1. 建立Scrapy專案

同樣地，我們首先需要建立一個Scrapy專案。開啟命令列，輸入以下指令：

scrapy startproject myproject

這個指令將會在目前資料夾下建立一個叫做myproject的Scrapy專案。

2. 設定起始URL

在myproject/spiders目錄下，建立一個名為spider.py的文件，編輯文件，輸入以下程式碼：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com/xml']

    def parse(self, response):
        pass

程式碼中，我們設定了一個名為myspider的spider名稱，並設定了一個起始URL為http://example.com/xml。

3. 解析回應資料

繼續編輯myproject/spiders/spider.py文件，加入以下程式碼：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com/xml']

    def parse(self, response):
        for item in response.xpath('//item'):
            yield {
                'title': item.xpath('title/text()').get(),
                'link': item.xpath('link/text()').get(),
                'desc': item.xpath('desc/text()').get(),
            }

程式碼中，我們使用response. xpath()方法來取得XML頁面中的資料。使用for迴圈來遍歷item標籤，取得title、link、desc三個標籤內的文字數據，使用yield來傳回字典類型的資料。

4. 運行爬蟲

最後，我們同樣需要運行Scrapy爬蟲。在命令列中輸入以下命令：

scrapy crawl myspider -o output.json

這個命令會將資料輸出到output.json檔案中。

三、爬取JSON資料

1. 建立Scrapy專案

同樣地，我們需要建立一個Scrapy專案。開啟命令列，輸入以下指令：

scrapy startproject myproject

這個指令將會在目前資料夾下建立一個叫做myproject的Scrapy專案。

2. 設定起始URL

在myproject/spiders目錄下，建立一個名為spider.py的文件，編輯文件，輸入以下程式碼：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com/json']

    def parse(self, response):
        pass

程式碼中，我們設定了一個名為myspider的spider名稱，並設定了一個起始URL為http://example.com/json。

3. 解析回應資料

繼續編輯myproject/spiders/spider.py文件，加入以下程式碼：

import scrapy
import json

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com/json']

    def parse(self, response):
        data = json.loads(response.body)
        for item in data['items']:
            yield {
                'title': item['title'],
                'link': item['link'],
                'desc': item['desc'],
            }

程式碼中，我們使用json. loads()方法來解析JSON格式的資料。使用for迴圈來遍歷items數組，取得每個item的title、link、desc三個屬性，使用yield來傳回字典類型的資料。

4. 運行爬蟲

最後，同樣需要運行Scrapy爬蟲。在命令列中輸入以下命令：

scrapy crawl myspider -o output.json

這個命令會將資料輸出到output.json檔案中。

四、總結

在本文中，我們介紹如何使用Scrapy分別爬取HTML、XML、JSON資料。透過以上例子，你可以了解到Scrapy的基本用法，也可以根據需要深入學習更多進階用法，希望能給你在爬蟲技術方面提供幫助。

以上是深度使用Scrapy：如何爬取HTML、XML、JSON資料？的詳細內容。更多資訊請關注PHP中文網其他相關文章！