首頁 後端開發 Python教學 Python爬蟲:透過關鍵字爬取百度圖片

Python爬蟲:透過關鍵字爬取百度圖片

Feb 20, 2017 am 10:06 AM

使用工具:Python2.7 

scrapy框架

sublime text3

一。建立python(Windows版本)

 1.安裝python2.7 ---然後在cmd當中輸入python,介面如下則安裝成功

Python爬蟲:透過關鍵字爬取百度圖片

 2.整合Scrapy框架----輸入命令列:pip install Scrapy

Python爬蟲:透過關鍵字爬取百度圖片

安裝成功介面如下:

Python爬蟲:透過關鍵字爬取百度圖片

失敗的情況很多,舉例一種​​:

Python爬蟲:透過關鍵字爬取百度圖片

解決方案:

解。

二。開始編程。

Python爬蟲:透過關鍵字爬取百度圖片python程式碼如下:

程式碼註解:引入了兩個模組urllib,re。定義兩個函數,第一個函數是取得整個目標網頁數據,第二個函數是在目標網頁中取得目標圖片,遍歷網頁,並且給予所取得的圖片依照0開始排序。

Python爬蟲:透過關鍵字爬取百度圖片註:re模組知識點:

Python爬蟲:透過關鍵字爬取百度圖片爬取圖片效果圖:

圖片保存路徑預設在建立的.py同目錄檔案下。

2.爬取有反爬蟲措施的百度圖片。如百度圖片等。

例如關鍵字搜尋「表情包」https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gbk&word=%B1%ED%C7%E9%B0%FC&fr= ala&ori_query=%E8%A1%A8%E6%83%85%E5%8C%85&ala=0&alatpl=sp&pos=0&hs=2&xthttps=11111

圖片採用滾動式加載,先爬取最優先的30張圖片。

Python爬蟲:透過關鍵字爬取百度圖片程式碼如下:

程式碼註解:導入4個模組,os模組用於指定保存路徑。前兩個函數同上。第三個函數使用了if語句,並且tryException異常。

Python爬蟲:透過關鍵字爬取百度圖片爬取過程如下:

Python爬蟲:透過關鍵字爬取百度圖片爬取結果:

註:寫python程式碼注重對齊,and不能混用Tab和空格,易報錯。 🎜🎜更多Python爬蟲:透過關鍵字爬取百度圖片相關文章請追蹤PHP中文網! 🎜
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

如何在使用 Fiddler Everywhere 進行中間人讀取時避免被瀏覽器檢測到? 如何在使用 Fiddler Everywhere 進行中間人讀取時避免被瀏覽器檢測到? Apr 02, 2025 am 07:15 AM

使用FiddlerEverywhere進行中間人讀取時如何避免被檢測到當你使用FiddlerEverywhere...

在Linux終端中使用python --version命令時如何解決權限問題? 在Linux終端中使用python --version命令時如何解決權限問題? Apr 02, 2025 am 06:36 AM

Linux終端中使用python...

如何在10小時內通過項目和問題驅動的方式教計算機小白編程基礎? 如何在10小時內通過項目和問題驅動的方式教計算機小白編程基礎? Apr 02, 2025 am 07:18 AM

如何在10小時內教計算機小白編程基礎?如果你只有10個小時來教計算機小白一些編程知識,你會選擇教些什麼�...

如何繞過Investing.com的反爬蟲機制獲取新聞數據? 如何繞過Investing.com的反爬蟲機制獲取新聞數據? Apr 02, 2025 am 07:03 AM

攻克Investing.com的反爬蟲策略許多人嘗試爬取Investing.com(https://cn.investing.com/news/latest-news)的新聞數據時,常常�...

Python 3.6加載pickle文件報錯ModuleNotFoundError: No module named '__builtin__'怎麼辦? Python 3.6加載pickle文件報錯ModuleNotFoundError: No module named '__builtin__'怎麼辦? Apr 02, 2025 am 06:27 AM

Python3.6環境下加載pickle文件報錯:ModuleNotFoundError:Nomodulenamed...

使用Scapy爬蟲時,管道文件無法寫入的原因是什麼? 使用Scapy爬蟲時,管道文件無法寫入的原因是什麼? Apr 02, 2025 am 06:45 AM

使用Scapy爬蟲時管道文件無法寫入的原因探討在學習和使用Scapy爬蟲進行數據持久化存儲時,可能會遇到管道文�...

See all articles