繼續上一篇文章的內容，上一篇文章中，將爬蟲調度器已經寫好了，調度器是整個爬蟲程序的“大腦”，也可以稱之為指揮中心。而現在，我們要做的就是去將調度器中用到的其他元件寫好。首先是url管理器，它既然作為管理器，那麼它一定要區分待爬取的url和已經爬取的url，否則會重複爬取。這裡教學用的是set集合，將兩個url暫時存放到集合中，也就是記憶體中，畢竟比較爬取的資料比較少，當然也可以存放到別的地方，例如快取或關係型資料庫。
第一次是調度器初始化函數中，建立這個urlmanager對象，
第二次是呼叫了add_new_url方法將最初始的url加入到帶爬取的集合中，帶爬取的集合中，
第三次是在爬取過程中來判斷是否有待爬取的url,
第四次是將要爬取的url從集合中取出來，
# 第五次是將頁面解析出來的新的一組url再次添加到帶爬去集合中
那麼我們接下來就要做的是用程式碼來實現這些功能：
1 class UrlManager(object): 2 """docstring for UrlManager""" 3 def __init__(self): 4 self.new_urls = set() 5 self.old_urls = set() 6 #向管理器中添加一个新的url 7 def add_new_url(self,url): 8 if url is None: 9 return10 if url not in self.new_urls and url not in self.old_urls:11 self.new_urls.add(url)12 #从爬取数据中向管理器中批量添加url13 def add_new_urls(self,urls):14 if urls is None or len(urls) == 0:15 return16 for url in urls:17 self.add_new_url(url)18 #判断是否有新的url19 def has_new_url(self):20 return (len(self.new_urls) != 0)21 #从管理器中取出一个新的url22 def get_new_url(self):23 new_url = self.new_urls.pop()24 self.old_urls.add(new_url)25 return new_url
好，到這，url管理器就搞定了！
接下來就是url下載器了，很簡單一個功能，將程式存取的頁面儲存下來。
下載器只在調度器中出現過兩次：
第一次是初始化的時候創建
第二次是緊接著是初始化的時候創建
第二次是緊接著是url之後，馬上取到url之後，馬上取到呼叫它來下載頁面
在url下載器中，原教程使用的是urllib庫，我覺得有點繁瑣。所以我換了一個更好用的函式庫：requests。這個函式庫可以幫助我封鎖許多技術難題，直接去抓取我們想要存取的頁面，而且使用起來非常簡單。
1 import requests 2 3 class HtmlDownloader(object): 4 """docstring for HtmlDownloader""" 5 def download(self,url): 6 if url is None: 7 return 8 response = requests.get(url, timeout = 0.1) 9 response.encoding = 'utf-8'10 if response.status_code == requests.codes.ok:11 return response.text12 else:13 return
簡單講一下這段程式碼：
a.首先要導入requests函式庫，這個因為是第三方函式庫，所以需要你自己下載，在命令列輸入：pip install requests
b.然後開始寫下載器這個類，這個類別只有一個方法，就是download。這個方法首先會接受你給定的url，然後對其進行判斷是否存在。
c.然後呼叫requests的get方法，它裡面接受兩個參數，一個是url,還有一個是timeout
timeout是我自己加進去的，就是超訪問時。如果不加timeout，程式會假死，也就是說會一直在那裡等待頁面的回應，也不拋出異常。
d.然後對返回的response進行編碼設置，因為爬取的百度百科頁面是utf-8，所以這裡最好還是設置一下，雖然requests會智能判斷，但是還是手動改一下為宜。
e.然後在判斷頁面是否回應，這裡的codes.ok其實就是200，表示網頁正常回應，你這裡直接寫 response.status_code == 200 也沒問題。
f.最後，將頁面的所有內容都返回，這裡的text就是一個字串，它包含了一個頁面的所有程式碼（html,css,js）。
### ###以上是python之調度器的用法的詳細內容。更多資訊請關注PHP中文網其他相關文章！
