scrapy抓取學院新聞報告實例
抓取四川大學公共管理學院官網()所有的新聞諮詢.
實驗流程
#1.確定抓取目標.
2.制定抓取規則.
3.'編寫/調試'抓取規則.
4.獲得抓取資料
1.確定抓取目標
我們這次需要抓取的目標為四川大學公共管理學院的所有新聞資訊.於是我們需要知道公管學院官網的佈局結構.
#這裡我們發現想要抓到全部的新聞資訊,不能直接在官網首頁進行抓取,需要點擊"more"進入到新聞總欄目裡面.
我們看到了具體的新聞欄位,但是這顯然不滿足我們的抓取需求: 當前新聞動態網頁只能抓取新聞的時間,標題和URL,但是並不能抓取新聞的內容.所以我們想要需要進入到新聞詳情頁抓取新聞的具體內容.
2.制定抓取規則
#透過第一部分的分析,我們會想到,如果我們要抓取一篇新聞的具體資訊,需要從新聞動態頁面點擊進入新聞詳情頁抓取到新聞的具體內容.我們點擊一篇新聞嘗試一下
我們發現,我們能夠直接在新聞詳情頁面抓取到我們需要的資料:標題,時間,內容.URL.
好,到現在我們清楚抓取一篇新聞的思路了.但是,如何抓取所有的新聞內容呢?
這顯然難不到我們.
那麼整理一下思路,我們能夠想到一個顯而易見的抓取規則:通過抓取'新聞欄目下'所有的新聞鏈接,並且進入到新聞詳情鏈接裡面抓取所有的新聞內容.
在爬蟲中,我將實現以下幾個功能點:
1.爬出一頁新聞專欄下的所有新聞連結分別對應的知識點為:2.透過爬到的一頁新聞連結進入到新聞詳情爬取所需要資料(主要是新聞內容)
3 .透過循環爬取到所有的新聞.
1.爬出一個頁面下的基礎資料.話不多說,現在開幹.#3.1爬出一頁新聞欄位下的所有新聞連結2 .透過爬到的資料進行二次爬取.
3.透過循環對網頁進行所有資料的爬取.
Paste_Image.png
Paste_Image.png
import scrapyclass News2Spider(scrapy.Spider):
name = "news_info_2"
start_urls = ["http://ggglxy.scu.edu.cn/index.php?c=special&sid=1&page=1",
]def parse(self, response):for href in response.xpath("//div[@class='newsinfo_box cf']"):
url = response.urljoin(href.xpath("div[@class='news_c fr']/h3/a/@href").extract_first())登入後複製
測試,通過!import scrapyclass News2Spider(scrapy.Spider):
name = "news_info_2"
start_urls = ["http://ggglxy.scu.edu.cn/index.php?c=special&sid=1&page=1",
]def parse(self, response):for href in response.xpath("//div[@class='newsinfo_box cf']"):
url = response.urljoin(href.xpath("div[@class='news_c fr']/h3/a/@href").extract_first())
##Paste_Image.png3.2透過爬到的一頁新聞連結進入到新聞詳情爬取所需要資料(主要是新聞內容)
#現在我獲得了一組URL,現在我需要進入到每一個URL中抓取我所需要的標題,時間和內容,代碼實現也挺簡單,只需要在原有代碼抓到一個URL時進入該URL並且抓取相應的數據即可.所以,我只需要再寫一個進入新聞詳情頁的抓取方法,並且使用scapy.request調用即可.
編寫代碼
#进入新闻详情页的抓取方法
def parse_dir_contents(self, response):item = GgglxyItem()item['date'] = response.xpath("//div[@class='detail_zy_title']/p/text()").extract_first()item['href'] = responseitem['title'] = response.xpath("//div[@class='detail_zy_title']/h1/text()").extract_first()
data = response.xpath("//div[@class='detail_zy_c pb30 mb30']")item['content'] = data[0].xpath('string(.)').extract()[0]
yield item整合進原有代碼後,有:
import scrapyfrom ggglxy.items import GgglxyItemclass News2Spider(scrapy.Spider):
name = "news_info_2"
start_urls = ["http://ggglxy.scu.edu.cn/index.php?c=special&sid=1&page=1",
]def parse(self, response):for href in response.xpath("//div[@class='newsinfo_box cf']"):
url = response.urljoin(href.xpath("div[@class='news_c fr']/h3/a/@href").extract_first())#调用新闻抓取方法yield scrapy.Request(url, callback=self.parse_dir_contents)#进入新闻详情页的抓取方法 def parse_dir_contents(self, response):
item = GgglxyItem()
item['date'] = response.xpath("//div[@class='detail_zy_title']/p/text()").extract_first()
item['href'] = response
item['title'] = response.xpath("//div[@class='detail_zy_title']/h1/text()").extract_first()
data = response.xpath("//div[@class='detail_zy_c pb30 mb30']")
item['content'] = data[0].xpath('string(.)').extract()[0]yield item測試,通過!
Paste_Image.png這時我們加一個循環:
NEXT_PAGE_NUM = 1
NEXT_PAGE_NUM = NEXT_PAGE_NUM + 1if NEXT_PAGE_NUM<11:next_url = 'http://ggglxy.scu.edu.cn/index.php?c=special&sid=1&page=%s' % NEXT_PAGE_NUM
yield scrapy.Request(next_url, callback=self.parse)加入原本程式碼:
import scrapyfrom ggglxy.items import GgglxyItem
NEXT_PAGE_NUM = 1class News2Spider(scrapy.Spider):
name = "news_info_2"
start_urls = ["http://ggglxy.scu.edu.cn/index.php?c=special&sid=1&page=1",
]def parse(self, response):for href in response.xpath("//div[@class='newsinfo_box cf']"):
URL = response.urljoin(href.xpath("div[@class='news_c fr']/h3/a/@href").extract_first())yield scrapy.Request(URL, callback=self.parse_dir_contents)global NEXT_PAGE_NUM
NEXT_PAGE_NUM = NEXT_PAGE_NUM + 1if NEXT_PAGE_NUM<11:
next_url = 'http://ggglxy.scu.edu.cn/index.php?c=special&sid=1&page=%s' % NEXT_PAGE_NUMyield scrapy.Request(next_url, callback=self.parse) def parse_dir_contents(self, response):
item = GgglxyItem()
item['date'] = response.xpath("//div[@class='detail_zy_title']/p/text()").extract_first()
item['href'] = response
item['title'] = response.xpath("//div[@class='detail_zy_title']/h1/text()").extract_first()
data = response.xpath("//div[@class='detail_zy_c pb30 mb30']")
item['content'] = data[0].xpath('string(.)').extract()[0] yield item測試:
Paste_Image.png抓到的数量为191,但是我们看官网发现有193条新闻,少了两条.
为啥呢?我们注意到log的error有两条:
定位问题:原来发现,学院的新闻栏目还有两条隐藏的二级栏目:
比如:
对应的URL为
URL都长的不一样,难怪抓不到了!
那么我们还得为这两条二级栏目的URL设定专门的规则,只需要加入判断是否为二级栏目:
if URL.find('type') != -1: yield scrapy.Request(URL, callback=self.parse)
组装原函数:
import scrapy
from ggglxy.items import GgglxyItem
NEXT_PAGE_NUM = 1class News2Spider(scrapy.Spider):
name = "news_info_2"
start_urls = ["http://ggglxy.scu.edu.cn/index.php?c=special&sid=1&page=1",
]def parse(self, response):for href in response.xpath("//div[@class='newsinfo_box cf']"):
URL = response.urljoin(href.xpath("div[@class='news_c fr']/h3/a/@href").extract_first())if URL.find('type') != -1:yield scrapy.Request(URL, callback=self.parse)yield scrapy.Request(URL, callback=self.parse_dir_contents)
global NEXT_PAGE_NUM
NEXT_PAGE_NUM = NEXT_PAGE_NUM + 1if NEXT_PAGE_NUM<11:
next_url = 'http://ggglxy.scu.edu.cn/index.php?c=special&sid=1&page=%s' % NEXT_PAGE_NUMyield scrapy.Request(next_url, callback=self.parse) def parse_dir_contents(self, response):
item = GgglxyItem()
item['date'] = response.xpath("//div[@class='detail_zy_title']/p/text()").extract_first()
item['href'] = response
item['title'] = response.xpath("//div[@class='detail_zy_title']/h1/text()").extract_first()
data = response.xpath("//div[@class='detail_zy_c pb30 mb30']")
item['content'] = data[0].xpath('string(.)').extract()[0] yield item测试:
我们发现,抓取的数据由以前的193条增加到了238条,log里面也没有error了,说明我们的抓取规则OK!
4.获得抓取数据
<code class="haxe"> scrapy crawl <span class="hljs-keyword">new<span class="hljs-type">s_info_2 -o <span class="hljs-number">0016.json</span></span></span></code><br/><br/>
以上是scrapy抓取學院新聞報告實例的詳細內容。更多資訊請關注PHP中文網其他相關文章！
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
AI Hentai Generator
免費產生 AI 無盡。
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發環境
Dreamweaver CS6
視覺化網頁開發工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
熱門話題
Scrapy實現微信公眾號文章爬取與分析
Jun 22, 2023 am 09:41 AM
Scrapy實現微信公眾號文章爬取和分析微信是近年來備受歡迎的社群媒體應用，在其中運作的公眾號也扮演著非常重要的角色。眾所周知，微信公眾號是一個資訊和知識的海洋，因為其中每個公眾號都可以發布文章、圖文訊息等資訊。這些資訊可以被廣泛地應用在許多領域中，例如媒體報道、學術研究等。那麼，本篇文章將介紹如何使用Scrapy框架來實現微信公眾號文章的爬取與分析。 Scr
Scrapy基於Ajax非同步載入實作方法
Jun 22, 2023 pm 11:09 PM
Scrapy是一個開源的Python爬蟲框架，它可以快速且有效率地從網站上取得資料。然而，許多網站採用了Ajax非同步載入技術，使得Scrapy無法直接取得資料。本文將介紹基於Ajax非同步載入的Scrapy實作方法。一、Ajax非同步載入原理Ajax非同步載入：在傳統的頁面載入方式中，瀏覽器發送請求到伺服器後，必須等待伺服器回傳回應並將頁面全部載入完畢才能進行下一步操
Scrapy案例解析：如何抓取LinkedIn上公司訊息
Jun 23, 2023 am 10:04 AM
Scrapy是一個基於Python的爬蟲框架，可以快速且方便地獲取網路上的相關資訊。在本篇文章中，我們將透過Scrapy案例來詳細解析如何抓取LinkedIn上的公司資訊。確定目標URL首先，我們需要明確我們的目標是LinkedIn上的公司資訊。因此，我們需要找到LinkedIn公司資訊頁面的URL。開啟LinkedIn網站，在搜尋框中輸入公司名稱，在
Scrapy優化技巧：如何減少重複URL的爬取，提高效率
Jun 22, 2023 pm 01:57 PM
Scrapy是一個功能強大的Python爬蟲框架，可用於從網路上取得大量的資料。但是，在進行Scrapy開發時，經常會遇到重複URL的爬取問題，這會浪費大量的時間和資源，影響效率。本文將介紹一些Scrapy優化技巧，減少重複URL的爬取，提升Scrapy爬蟲的效率。一、使用start_urls和allowed_domains屬性在Scrapy爬蟲中，可
如何在Win10上開啟新聞與興趣內容
Jan 13, 2024 pm 05:54 PM
對於那些深愛Windows10作業系統的使用者而言，想必都曾留意到其桌面右下方所呈現的那一項資訊與興趣推薦功能。這項功能會在適當的時刻為您展示各類精彩紛呈的新聞信息，然而，部分用戶可能覺得過於繁瑣而選擇將其關閉;另一方面，也有些用戶卻渴望能夠保持啟用狀態。此時此刻，便可藉助以下的詳細步驟，隨時隨地輕鬆實現此類設定調整。 win10怎麼打開新聞和興趣1、先按下win+R然後輸入「winver」回車以後就可以查看你的電腦版本信息，確認是否是21h1版本的。 2、工作列上右鍵選擇「資訊與興趣」3、這裡
使用 PHP 實作抓取 Instagram 資訊的範例
Jun 13, 2023 pm 06:26 PM
Instagram是目前最受歡迎的社群媒體之一，擁有數億的活躍用戶。其中用戶上傳了數十億的圖片和視頻，這些數據對於許多企業和個人來說都是非常有價值的。因此，在許多情況下，需要使用程式自動抓取Instagram資料。本文將介紹如何使用PHP實現Instagram資料的抓取，並提供實作範例。安裝PHP的cURL擴充cURL是一個用於在各種
在Scrapy爬蟲中使用Selenium和PhantomJS
Jun 22, 2023 pm 06:03 PM
在Scrapy爬蟲中使用Selenium和PhantomJSScrapy是Python下的一個優秀的網路爬蟲框架，已經被廣泛應用於各個領域中的資料收集和處理。在爬蟲的實作中，有時候需要模擬瀏覽器操作去取得某些網站呈現的內容，這時候就需要用到Selenium和PhantomJS。 Selenium是模擬人類對瀏覽器的操作，讓我們可以自動化地進行網頁應用程式測試
深度使用Scrapy：如何爬取HTML、XML、JSON資料？
Jun 22, 2023 pm 05:58 PM
Scrapy是一款強大的Python爬蟲框架，可以幫助我們快速、靈活地取得網路上的資料。在實際爬取過程中，我們會經常遇到HTML、XML、JSON等各種資料格式。在這篇文章中，我們將介紹如何使用Scrapy分別爬取這三種資料格式的方法。一、爬取HTML資料建立Scrapy專案首先，我們需要建立一個Scrapy專案。打開命令列，輸入以下命令：scrapys
