Rampage 만화에서 gif 이미지를 캡처하기 위해 Python 크롤러를 작성하는 예제 코드 설명

이 문서에서는 Rampage 만화에서 gif 이미지를 캡처하기 위한 Python 크롤러용 예제 코드를 작성하는 방법을 설명합니다. 예제 코드는 urllib 모듈, 요청 모듈 및 BeautifulSoup 모듈을 사용하는 Python3입니다.

제가 소개하고 싶은 크롤러는 Rampage 만화에서 재미있는 GIF 사진을 가져와 오프라인에서 볼 수 있는 것입니다. 크롤러는 주로 urllib, request 및 BeautifulSoup 모듈을 사용하여 python3.3을 사용하여 개발되었습니다.

urllib 모듈은 World Wide Web에서 데이터를 얻기 위한 고급 인터페이스를 제공합니다. urlopen()을 사용하여 URL을 여는 것은 Python에 내장된 open()을 사용하여 여는 것과 같습니다. 파일. 하지만 차이점은 전자는 URL을 매개변수로 받으며, 열린 파일 스트림에 대해 탐색 작업을 수행할 수 있는 방법이 없다는 점이다(저수준 관점에서 보면 실제로 소켓을 운영하고 있기 때문에 당연히 검색 작업을 수행할 수 있는 방법이 없습니다), 후자는 로컬 파일 이름을 받습니다.

Python의 BeautifulSoup 모듈은 HTML과 XML을 구문 분석하는 데 도움이 될 수 있습니다.
우선 일반적으로 웹 크롤러를 작성합니다. 즉, HTML 소스 코드와 웹 페이지의 기타 콘텐츠를 크롤링한 다음 분석합니다. 해당 내용을 추출합니다.
이런 HTML 콘텐츠 분석 작업은 일반적인 정규식 re 모듈을 사용하여 조금씩 일치시키면 기본적으로 간단한 콘텐츠로 웹 페이지를 분석하기에 충분합니다.
그러나 작업량이 많고 내용이 복잡한 HTML을 구문 분석해야 하는 경우 re 모듈을 사용하여 구현하는 것이 불가능하거나 어렵다는 것을 알게 될 것입니다.
HTML 소스 코드 분석에 beautifulsoup 모듈을 사용하면 작업이 매우 간단해지며 HTML 소스 코드 분석의 효율성이 크게 향상됩니다.
참고: BeautifulSoup은 타사 라이브러리이므로 bs4를 사용합니다. urllib2는 python3의 urllib.request에 할당됩니다. 문서의 원본 텍스트는 다음과 같습니다.
참고: urllib2 모듈은 Python 3에서 urllib.request 및 urllib.error라는 여러 모듈로 분할되었습니다.
크롤러 소스 코드는 다음과 같습니다

# -*- coding: utf-8 -*-

import urllib.request
import bs4,os

page_sum = 1 #设置下载页数

path = os.getcwd()
path = os.path.join(path,'暴走GIF')
if not os.path.exists(path):
  os.mkdir(path)                 #创建文件夹

url = "http://baozoumanhua.com/gif/year"   #url地址
headers = {                     #伪装浏览器
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'
         ' Chrome/32.0.1700.76 Safari/537.36'
}

for count in range(page_sum):
  req = urllib.request.Request(
    url = url+str(count+1),
    headers = headers
  )
  print(req.full_url)
  content = urllib.request.urlopen(req).read()

  soup = bs4.BeautifulSoup(content)          # BeautifulSoup
  img_content = soup.findAll('img',attrs={'style':'width:460px'})

  url_list = [img['src'] for img in img_content]   #列表推导 url
  title_list = [img['alt'] for img in img_content]  #图片名称

  for i in range(url_list.__len__()) :
    imgurl = url_list[i]
    filename = path + os.sep +title_list[i] + ".gif"
    print(filename+":"+imgurl)             #打印下载信息
    urllib.request.urlretrieve(imgurl,filename)    #下载图片

15번째 줄에서 다운로드 페이지 수를 수정할 수 있습니다. 이 파일을 baozougif.py로 저장하면 python baozougif.py라는 이름의 폴더가 생성됩니다. 모든 사진은 자동으로 이 디렉토리에 다운로드됩니다.

위 내용은 Rampage 만화에서 gif 이미지를 캡처하기 위해 Python 크롤러를 작성하는 예제 코드 설명의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!