Scrapy是一款強大的Python爬蟲框架，可以幫助我們快速、靈活地取得網路上的資料。在實際爬取過程中，我們會經常遇到HTML、XML、JSON等各種資料格式。在這篇文章中，我們將介紹如何使用Scrapy分別爬取這三種資料格式的方法。
一、爬取HTML資料
首先，我們需要建立一個Scrapy專案。開啟命令列，輸入以下指令：
scrapy startproject myproject
這個指令將會在目前資料夾下建立一個叫做myproject的Scrapy專案。
接下來，我們需要設定起始的URL。在myproject/spiders目錄下，建立一個名為spider.py的文件，編輯文件，輸入以下程式碼：
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
start_urls = ['http://example.com']
def parse(self, response):
pass程式碼首先匯入了Scrapy函式庫，然後定義了一個爬蟲類MySpider，設定了一個名為myspider的spider名稱，並設定了一個起始URL為http://example.com。最後定義了一個parse方法。 parse方法預設會被Scrapy調用，用來處理回應資料。
接下來，我們需要解析回應資料。繼續編輯myproject/spiders/spider.py文件，加入以下程式碼：
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
start_urls = ['http://example.com']
def parse(self, response):
title = response.xpath('//title/text()').get()
yield {'title': title}程式碼中，我們使用response.xpath()方法來取得HTML頁面中的標題。使用yield來傳回字典類型數據，包含了我們獲取到的標題。
最後，我們需要運行Scrapy爬蟲。在命令列中輸入以下命令：
scrapy crawl myspider -o output.json
這個命令會將資料輸出到output.json檔案中。
二、爬取XML資料
同樣地，我們首先需要建立一個Scrapy專案。開啟命令列，輸入以下指令：
scrapy startproject myproject
這個指令將會在目前資料夾下建立一個叫做myproject的Scrapy專案。
在myproject/spiders目錄下，建立一個名為spider.py的文件，編輯文件，輸入以下程式碼：
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
start_urls = ['http://example.com/xml']
def parse(self, response):
pass程式碼中，我們設定了一個名為myspider的spider名稱，並設定了一個起始URL為http://example.com/xml。
繼續編輯myproject/spiders/spider.py文件，加入以下程式碼：
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
start_urls = ['http://example.com/xml']
def parse(self, response):
for item in response.xpath('//item'):
yield {
'title': item.xpath('title/text()').get(),
'link': item.xpath('link/text()').get(),
'desc': item.xpath('desc/text()').get(),
}程式碼中，我們使用response. xpath()方法來取得XML頁面中的資料。使用for迴圈來遍歷item標籤，取得title、link、desc三個標籤內的文字數據，使用yield來傳回字典類型的資料。
最後，我們同樣需要運行Scrapy爬蟲。在命令列中輸入以下命令：
scrapy crawl myspider -o output.json
這個命令會將資料輸出到output.json檔案中。
三、爬取JSON資料
同樣地，我們需要建立一個Scrapy專案。開啟命令列，輸入以下指令：
scrapy startproject myproject
這個指令將會在目前資料夾下建立一個叫做myproject的Scrapy專案。
在myproject/spiders目錄下，建立一個名為spider.py的文件，編輯文件，輸入以下程式碼：
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
start_urls = ['http://example.com/json']
def parse(self, response):
pass程式碼中，我們設定了一個名為myspider的spider名稱，並設定了一個起始URL為http://example.com/json。
繼續編輯myproject/spiders/spider.py文件，加入以下程式碼：
import scrapy
import json
class MySpider(scrapy.Spider):
name = 'myspider'
start_urls = ['http://example.com/json']
def parse(self, response):
data = json.loads(response.body)
for item in data['items']:
yield {
'title': item['title'],
'link': item['link'],
'desc': item['desc'],
}程式碼中，我們使用json. loads()方法來解析JSON格式的資料。使用for迴圈來遍歷items數組，取得每個item的title、link、desc三個屬性，使用yield來傳回字典類型的資料。
最後，同樣需要運行Scrapy爬蟲。在命令列中輸入以下命令：
scrapy crawl myspider -o output.json
這個命令會將資料輸出到output.json檔案中。
四、總結
在本文中，我們介紹如何使用Scrapy分別爬取HTML、XML、JSON資料。透過以上例子，你可以了解到Scrapy的基本用法，也可以根據需要深入學習更多進階用法，希望能給你在爬蟲技術方面提供幫助。
以上是深度使用Scrapy：如何爬取HTML、XML、JSON資料？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
