[Python] 웹 크롤러(8): 당혹감 백과사전 웹 크롤러(v0.3) 소스 코드 및 분석(간편 업데이트)

Q&A:

1. 부끄러운 일 백과사전을 한동안 사용할 수 없다고 표시되는 이유는 무엇인가요?

답변: 얼마 전 Encyclopedia of Embarrassments에 헤더 테스트가 추가되어 크롤링이 불가능해졌습니다. 코드에서 헤더를 시뮬레이션해야 합니다. 이제 코드가 수정되어 정상적으로 사용할 수 있습니다.

2. 왜 별도의 스레드를 만들어야 하나요?

A: 기본 프로세스는 다음과 같습니다. 크롤러는 백그라운드에서 새 스레드를 시작하고 남은 페이지가 2페이지 미만인 경우 다른 페이지를 크롤링합니다. 사용자가 Enter 키를 누르면 온라인으로 전환하는 대신 인벤토리에서 최신 콘텐츠만 가져오므로 검색이 더 원활해집니다. 메인 스레드에 로딩을 넣을 수도 있지만, 크롤링 과정에서 대기 시간이 길어지는 문제가 발생합니다.

프로젝트 내용:

파이썬으로 작성된 창피한 일 백과사전용 웹 크롤러입니다.

사용법:

새 Bug.py 파일을 만들고 코드를 복사한 다음 두 번 클릭하여 실행합니다.

프로그램 기능:

명령 프롬프트에서 당황스러운 것들에 대한 백과사전을 찾아보세요.

원리 설명:

우선 당황백과사전 홈페이지를 찾아보세요: http://www.qiushibaike.com/hot/page/1

알았어 링크에서 페이지/ 다음의 번호가 해당 페이지 번호임을 알 수 있습니다. 이를 기억하여 향후 작성을 준비하세요.

그런 다음 페이지 소스 코드를 보려면 마우스 오른쪽 버튼을 클릭하세요.

관찰 결과 각 단락은 div로 표시되어 있으며, 여기서 클래스는 콘텐츠여야 하고 제목은 게시 시간이므로 이를 "공제"하려면 정규식만 사용하면 됩니다.

원리를 이해한 후 나머지는 정규 표현식의 내용입니다.

http://blog.csdn.net/wxg694175346/article/details/ 8929576

작동 효과:

# -*- coding: utf-8 -*-    
     
import urllib2    
import urllib    
import re    
import thread    
import time    
  
    
#----------- 加载处理糗事百科 -----------    
class Spider_Model:    
        
    def __init__(self):    
        self.page = 1    
        self.pages = []    
        self.enable = False    
    
    # 将所有的段子都扣出来，添加到列表中并且返回列表    
    def GetPage(self,page):    
        myUrl = "http://m.qiushibaike.com/hot/page/" + page    
        user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'   
        headers = { 'User-Agent' : user_agent }   
        req = urllib2.Request(myUrl, headers = headers)   
        myResponse = urllib2.urlopen(req)  
        myPage = myResponse.read()    
        #encode的作用是将unicode编码转换成其他编码的字符串    
        #decode的作用是将其他编码的字符串转换成unicode编码    
        unicodePage = myPage.decode("utf-8")    
    
        # 找出所有class="content"的div标记    
        #re.S是任意匹配模式，也就是.可以匹配换行符    
        myItems = re.findall(&#39;<div.*?class="content".*?title="(.*?)">(.*?)</div>&#39;,unicodePage,re.S)    
        items = []    
        for item in myItems:    
            # item 中第一个是div的标题，也就是时间    
            # item 中第二个是div的内容，也就是内容    
            items.append([item[0].replace("\n",""),item[1].replace("\n","")])    
        return items    
    
    # 用于加载新的段子    
    def LoadPage(self):    
        # 如果用户未输入quit则一直运行    
        while self.enable:    
            # 如果pages数组中的内容小于2个    
            if len(self.pages) < 2:    
                try:    
                    # 获取新的页面中的段子们    
                    myPage = self.GetPage(str(self.page))    
                    self.page += 1    
                    self.pages.append(myPage)    
                except:    
                    print &#39;无法链接糗事百科！&#39;    
            else:    
                time.sleep(1)    
            
    def ShowPage(self,nowPage,page):    
        for items in nowPage:    
            print u&#39;第%d页&#39; % page , items[0]  , items[1]    
            myInput = raw_input()    
            if myInput == "quit":    
                self.enable = False    
                break    
            
    def Start(self):    
        self.enable = True    
        page = self.page    
    
        print u&#39;正在加载中请稍候......&#39;    
            
        # 新建一个线程在后台加载段子并存储    
        thread.start_new_thread(self.LoadPage,())    
            
        #----------- 加载处理糗事百科 -----------    
        while self.enable:    
            # 如果self的page数组中存有元素    
            if self.pages:    
                nowPage = self.pages[0]    
                del self.pages[0]    
                self.ShowPage(nowPage,page)    
                page += 1    
    
    
#----------- 程序的入口处 -----------    
print u"""  
---------------------------------------  
   程序：糗百爬虫  
   版本：0.3  
   作者：why  
   日期：2014-06-03  
   语言：Python 2.7  
   操作：输入quit退出阅读糗事百科  
   功能：按下回车依次浏览今日的糗百热点  
---------------------------------------  
"""  
    
    
print u&#39;请按下回车浏览今日的糗百内容：&#39;    
raw_input(&#39; &#39;)    
myModel = Spider_Model()    
myModel.Start()

위는 [Python] 웹 크롤러(8)입니다. 민망한 일들 백과사전의 웹 크롤러(v0.3) 소스코드 및 분석(간편 업데이트) 내용, 더 많은 관련 내용은 PHP 중국어 홈페이지(www.php.cn)를 참고해주세요!