Python 爬虫爬取指定博客的所有文章
自上一篇文章 Z Story : Using Django with GAE Python 后台抓取多个网站的页面全文 后，大体的进度如下：
1.增加了Cron： 用来告诉程序每隔30分钟 让一个task 醒来， 跑到指定的那几个博客上去爬取最新的更新
2.用google 的 Datastore 来存贮每次爬虫爬下来的内容。。只存贮新的内容。。
就像上次说的那样，这样以来 性能有了大幅度的提高： 原来的每次请求后， 爬虫才被唤醒 所以要花大约17秒的时间才能从后台输出到前台而现在只需要2秒不到
3.对爬虫进行了优化
1. Cron.yaml 来安排每个程序醒来的时间
经过翻文档， 问问题终于弄明白google的cron的工作原理－－实际上只是google每隔指定的时间虚拟地访问一个我们自己指定的url…
因此在Django 下， 根本不需要写一个纯的python 程序 一定不要写：
if __name__=="__main__":
只需要自己配置一个url 放在views.py里：
def updatePostsDB(request):
#deleteAll()
SiteInfos=[]
SiteInfo={}
SiteInfo['PostSite']="L2ZStory"
SiteInfo['feedurl']="feed://l2zstory.wordpress.com/feed/"
SiteInfo['blog_type']="wordpress"
SiteInfos.append(SiteInfo)
SiteInfo={}
SiteInfo['PostSite']="YukiLife"
SiteInfo['feedurl']="feed://blog.sina.com.cn/rss/1583902832.xml"
SiteInfo['blog_type']="sina"
SiteInfos.append(SiteInfo)
SiteInfo={}
SiteInfo['PostSite']="ZLife"
SiteInfo['feedurl']="feed://ireallife.wordpress.com/feed/"
SiteInfo['blog_type']="wordpress"
SiteInfos.append(SiteInfo)
SiteInfo={}
SiteInfo['PostSite']="ZLife_Sina"
SiteInfo['feedurl']="feed://blog.sina.com.cn/rss/1650910587.xml"
SiteInfo['blog_type']="sina"
SiteInfos.append(SiteInfo)
try:
for site in SiteInfos:
feedurl=site['feedurl']
blog_type=site['blog_type']
PostSite=site['PostSite']
PostInfos=getPostInfosFromWeb(feedurl,blog_type)
recordToDB(PostSite,PostInfos)
Msg="Cron Job Done..."
except Exception,e:
Msg=str(e)
return HttpResponse(Msg)cron.yaml 要放在跟app.yaml同一个级别上：
cron:
- description: retrieve newest posts
url: /task_updatePosts/
schedule: every 30 minutes
在url.py 里只要指向这个把task_updatePostsDB 指向url就好了
调试这个cron的过程可以用惨烈来形容。。。在stackoverflow上有很多很多人在问为什么自己的cron不能工作。。。我一开始也是满头是汗，找不着头脑。。。最后侥幸弄好了，大体步骤也是空泛的很。。但是很朴实：
首先，一定要确保自己的程序没有什么syntax error….然后可以自己试着手动访问一下那个url 如果cron 正常的话，这个时候任务应该已经被执行了 最后实在不行的话多看看log…
2. Datastore的配置和利用－－Using Datastore with Django
我的需求在这里很简单－－没有join…所以我就直接用了最简陋的django-helper..
这个models.py 是个重点：
from appengine_django.models import BaseModel
from google.appengine.ext import db
classPostsDB(BaseModel):
link=db.LinkProperty()
title=db.StringProperty()
author=db.StringProperty()
date=db.DateTimeProperty()
description=db.TextProperty()
postSite=db.StringProperty()
前两行是重点中的重点。。。。我一开始天真没写第二行。。。结果我花了2个多小时都没明白是怎么回事。。得不偿失。。。
读写的时候， 千万别忘了。。。PostDB.put()
一开始的时候，我为了省事，就直接每次cron被唤醒， 就删除全部的数据， 然后重新写入新爬下来的数据。。。
结果。。。一天过后。。。有4万条读写纪录。。。。而每天免费的只有5万条。。。。
所以就改为在插入之前先看看有没有更新， 有的话就写，没的话就不写。。总算把数据库这部分搞好了。。。
3.爬虫的改进：
一开始的时候，爬虫只是去爬feed里给的文章。。这样一来，如果一个博客有24＊30篇文章的话。。。最多只能拿到10篇。。。。
这次，改进版能爬所有的文章。。我分别拿孤独川陵， 韩寒， Yuki和Z的博客做的试验。。成功的很。。。其中孤独川陵那里有720＋篇文章。。。无遗漏掉的被爬下来了。。
import urllib
#from BeautifulSoup import BeautifulSoup
from pyquery import PyQuery as pq
def getArticleList(url):
lstArticles=[]
url_prefix=url[:-6]
Cnt=1
response=urllib.urlopen(url)
html=response.read()
d=pq(html)
try:
pageCnt=d("ul.SG_pages").find('span')
pageCnt=int(d(pageCnt).text()[1:-1])
except:
pageCnt=1
for i in range(1,pageCnt+1):
url=url_prefix+str(i)+".html"
#print url
response=urllib.urlopen(url)
html=response.read()
d=pq(html)
title_spans=d(".atc_title").find('a')
date_spans=d('.atc_tm')
for j in range(0,len(title_spans)):
titleObj=title_spans[j]
dateObj=date_spans[j]
article={}
article['link']= d(titleObj).attr('href')
article['title']= d(titleObj).text()
article['date']=d(dateObj).text()
article['desc']=getPageContent(article['link'])
lstArticles.append(article)
return lstArticles
def getPageContent(url):
#get Page Content
response=urllib.urlopen(url)
html=response.read()
d=pq(html)
pageContent=d("div.articalContent").text()
#print pageContent
return pageContent
def main():
url='http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html'#Han Han
url="http://blog.sina.com.cn/s/articlelist_1225833283_0_1.html"#Gu Du Chuan Ling
url="http://blog.sina.com.cn/s/articlelist_1650910587_0_1.html"#Feng
url="http://blog.sina.com.cn/s/articlelist_1583902832_0_1.html"#Yuki
lstArticles=getArticleList(url)
for article in lstArticles:
f=open("blogs/"+article['date']+"_"+article['title']+".txt",'w')
f.write(article['desc'].encode('utf-8')) ＃特别注意对中文的处理
f.close()
#print article['desc']
if __name__=='__main__':
main()对PyQuery的推荐。。
很遗憾的说， BueautifulSoup让我深深的失望了。。。在我写上篇文章的时候，当时有个小bug..一直找不到原因。。在我回家后，又搭上了很多时间试图去弄明白为什么BueautifulSoup一直不能抓到我想要的内容。。。后来大体看了看它selector部分的源代码觉得应该是它对于很多还有<script>tag的不规范html页面的解析不准确。。。</script>
我放弃了这个库， 又试了lxml..基于xpath 很好用。。但是xpath的东西我老是需要查文档。。。所以我又找了个库PyQuery…可以用jQuery选择器的工具。。。非常非常非常好用。。。。具体的用法就看上面吧。。。这个库有前途。。。
隐忧
因为pyquery基于lxml…而lxml的底层又是c…所以估计在gae上用不了。。。我这个爬虫只能现在在我的电脑上爬好东西。。。然后push到server上。。。
总结
一句话， 我爱死Python了
两句话， 我爱死Python了，我爱死Django了
三句话， 我爱死Python了，我爱死Django了，我爱死jQuery了。。。
四句号， 我爱死Python了，我爱死Django了，我爱死jQuery了，我爱死pyQuery了。。。
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發環境
Dreamweaver CS6
視覺化網頁開發工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
PHP和Python：解釋了不同的範例
Apr 18, 2025 am 12:26 AM
PHP主要是過程式編程，但也支持面向對象編程（OOP）；Python支持多種範式，包括OOP、函數式和過程式編程。 PHP適合web開發，Python適用於多種應用，如數據分析和機器學習。
在PHP和Python之間進行選擇：指南
Apr 18, 2025 am 12:24 AM
PHP適合網頁開發和快速原型開發，Python適用於數據科學和機器學習。 1.PHP用於動態網頁開發，語法簡單，適合快速開發。 2.Python語法簡潔，適用於多領域，庫生態系統強大。
Python vs. JavaScript：學習曲線和易用性
Apr 16, 2025 am 12:12 AM
Python更適合初學者，學習曲線平緩，語法簡潔；JavaScript適合前端開發，學習曲線較陡，語法靈活。 1.Python語法直觀，適用於數據科學和後端開發。 2.JavaScript靈活，廣泛用於前端和服務器端編程。
PHP和Python：深入了解他們的歷史
Apr 18, 2025 am 12:25 AM
PHP起源於1994年，由RasmusLerdorf開發，最初用於跟踪網站訪問者，逐漸演變為服務器端腳本語言，廣泛應用於網頁開發。 Python由GuidovanRossum於1980年代末開發，1991年首次發布，強調代碼可讀性和簡潔性，適用於科學計算、數據分析等領域。
vs code 可以在 Windows 8 中運行嗎
Apr 15, 2025 pm 07:24 PM
VS Code可以在Windows 8上運行，但體驗可能不佳。首先確保系統已更新到最新補丁，然後下載與系統架構匹配的VS Code安裝包，按照提示安裝。安裝後，注意某些擴展程序可能與Windows 8不兼容，需要尋找替代擴展或在虛擬機中使用更新的Windows系統。安裝必要的擴展，檢查是否正常工作。儘管VS Code在Windows 8上可行，但建議升級到更新的Windows系統以獲得更好的開發體驗和安全保障。
visual studio code 可以用於 python 嗎
Apr 15, 2025 pm 08:18 PM
VS Code 可用於編寫 Python，並提供許多功能，使其成為開發 Python 應用程序的理想工具。它允許用戶：安裝 Python 擴展，以獲得代碼補全、語法高亮和調試等功能。使用調試器逐步跟踪代碼，查找和修復錯誤。集成 Git，進行版本控制。使用代碼格式化工具，保持代碼一致性。使用 Linting 工具，提前發現潛在問題。
sublime怎麼運行代碼python
Apr 16, 2025 am 08:48 AM
在 Sublime Text 中運行 Python 代碼，需先安裝 Python 插件，再創建 .py 文件並編寫代碼，最後按 Ctrl B 運行代碼，輸出會在控制台中顯示。
notepad 怎麼運行python
Apr 16, 2025 pm 07:33 PM
在 Notepad 中運行 Python 代碼需要安裝 Python 可執行文件和 NppExec 插件。安裝 Python 並為其添加 PATH 後，在 NppExec 插件中配置命令為“python”、參數為“{CURRENT_DIRECTORY}{FILE_NAME}”，即可在 Notepad 中通過快捷鍵“F6”運行 Python 代碼。
