cookielib是一個自動處理cookies的模組,如果我們在使用爬蟲等技術的時候需要保存cookie,那麼cookielib會讓你事半功倍!他最常見的搭檔模組就是python下的urllib和request。
核心類
1.Cookie
這類實作了Netscape and RFC 2965 cookies定義的cookie標準,基本上可以理解為某一條cookie資料。
部分程式碼如下,很多屬性是不是很眼熟?
self.domain_initial_dot = domain_initial_dot self.path = path self.path_specified = path_specified self.secure = secure self.expires = expires self.discard = discard self.comment = comment self.comment_url = comment_url self.rfc2109 = rfc2109
2.CookiePolicy
該類的主要功能是收發cookie,即確保正確的cookie發往對應的域名,反之一樣。
3.DefaultCookiePolicy
該類別實作了CookiePolicy的介面。
4.CookieJar
CookieJar是cookie的集合,可以包含有很多Cookie類,是我們的主要操作對象。裡面有一系列的方法可以支援更細緻的操作!
5.FileCookieJar
這類繼承自CookieJar,CookieJar只是在記憶體中完成自己的生命週期,FileCookieJar的子類別能夠實現資料持久化,定義了save、load、revert三個介面。
6.MozillaCookieJar & LWPCookieJar
兩個實作類,繼承關係如下:
實例:登入人人網路
在firefox下使用httpFox插件來查到人人網的登入時需要POST的地址是http://www.renren.com/ajaxLogin
而且查看到需要POST的DATA有email和password
python透過cookielib來處理cookie,以下是簡單的程式碼
>>> import urllib >>> import urllib2,cookielib >>> login_page = "http://www.renren.com/ajaxLogin" >>> cj = cookielib.CookieJar() >>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) >>> opener.add_handler = [('User-agent','Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)')] >>> data = urllib.urlencode({"email":'username',"password":'password'}) >>> opener.open(login_page,data) <addinfourl at 53653216 whose fp = <socket._fileobject object at 0x03307B70>> >>> if cj: ... for index,cookie in enumerate(cj): ... print index,':',cookie ... 0 : <Cookie _de=90D533AE20EB964CA96710977F452897 for .renren.com/> 1 : <Cookie anonymid=hlehtdzg-8359yw for .renren.com/> 2 : <Cookie first_login_flag=1 for .renren.com/> 3 : <Cookie id=224967207 for .renren.com/> 4 : <Cookie loginfrom=null for .renren.com/> 5 : <Cookie p=9beb60859c004bcaf0a32ff2c973473d7 for .renren.com/> 6 : <Cookie societyguester=86b6a6006002ab6316f708521ab50bfc7 for .renren.com/> 7 : <Cookie t=86b6a6006002ab6316f708521ab50bfc7 for .renren.com/> 8 : <Cookie xnsid=fa53da51 for .renren.com/> 9 : <Cookie t=30af9ffe774f4d6f242e92da1ccd6670 for .renren.com/xtalk/> 10 : <Cookie feedType=224967207_hot for .www.renren.com/> 11 : <Cookie JSESSIONID=abc3IP9kEhTExblxcRfeu for www.renren.com/> >>>
可以和firebug或httpFox得到的cookie進行對比,數值可能不一致,但key基本上是一致的,你每次登入應該都不一致
我也嘗試過使用fidder模擬發送沒有cookie的POST數據,但是沒有得到想要的回傳值
而加上cookie訊息以後就可以正常的跳到自己的首頁了
好了,基本上了解了python中使用cookie來發送登入訊息,現在我們來寫一個小腳本來登入自己人人網。
#encoding=utf-8 import urllib2 import urllib import cookielib def renrenBrower(url,user,password): login_page = "http://www.renren.com/ajaxLogin" try: cj = cookielib.CookieJar() opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) opener.addheaders = [('User-agent','Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)')] data = urllib.urlencode({"email":user,"password":password}) opener.open(login_page,data) op=opener.open(url) data= op.read() return data except Exception,e: print str(e) print renrenBrower("http://www.renren.com/home","用户名","密码")
這樣就可以將自己首頁的信息顯示出來了,其實在登錄完以後,還可以接著寫腳本來獲取自己想要的信息,如朋友的新鮮事等,這裡就不作過多說明了~