Python에서 간단한 크롤러 기능을 구현하는 예

우리는 매일 인터넷을 검색하다 보면 멋진 사진들을 자주 보게 되는데, 우리는 이 사진들을 저장하고 다운로드하거나 바탕화면이나 디자인 자료로 사용하고 싶어합니다.

가장 일반적인 방법은 마우스 오른쪽 버튼을 클릭하고 다른 이름으로 저장을 선택하는 것입니다. 그러나 일부 사진에는 마우스 오른쪽 버튼을 클릭할 때 다른 이름으로 저장 옵션이 없습니다. 다른 방법은 스크린샷 도구를 사용하여 캡처하는 것이지만 이렇게 하면 사진의 선명도가 떨어집니다. 알았어~! 실제로 페이지 소스 코드를 보려면 마우스 오른쪽 버튼을 클릭하세요.

파이썬을 사용하여 이러한 간단한 크롤러 기능을 구현하고 원하는 코드를 로컬에서 크롤링할 수 있습니다. Python을 사용하여 이러한 함수를 구현하는 방법을 살펴보겠습니다.

1. 전체 페이지 데이터 가져오기

먼저 다운로드할 이미지의 전체 페이지 정보를 얻을 수 있습니다.
getjpg.py

#coding=utf-8
import urllib
def getHtml(url):
  page = urllib.urlopen(url)
  html = page.read()
  return html

html = getHtml("http://tieba.baidu.com/p/2738151262")
print html

Urllib 모듈은 웹페이지 데이터를 읽기 위한 인터페이스를 제공합니다. 로컬 파일을 읽는 것처럼 www와 ftp에서 데이터를 읽을 수 있습니다. 먼저 getHtml() 함수를 정의합니다.

urllib.urlopen() 메소드는 URL 주소를 여는 데 사용됩니다.

read() 메소드는 URL의 데이터를 읽고 URL을 getHtml() 함수에 전달하고 전체 페이지를 다운로드하는 데 사용됩니다. 프로그램을 실행하면 전체 웹 페이지가 인쇄됩니다.

2. 페이지에서 원하는 데이터를 필터링합니다
Python은 매우 강력한 정규식을 제공합니다. 먼저 Python 정규식에 대해 조금 알아야 합니다.

Baidu Tieba에서 몇 가지 아름다운 배경화면을 발견하고 도구를 보기 위해 이전 섹션으로 이동한다고 가정해 보겠습니다. 다음과 같은 사진 주소를 찾았습니다: src=”http://imgsrc.baidu.com/forum...jpg” pic_ext=”jpeg”

코드를 다음과 같이 수정하세요.

import re
import urllib

def getHtml(url):
  page = urllib.urlopen(url)
  html = page.read()
  return html

def getImg(html):
  reg = r'src="(.+?\.jpg)" pic_ext'
  imgre = re.compile(reg)
  imglist = re.findall(imgre,html)
  return imglist   
  
html = getHtml("http://tieba.baidu.com/p/2460150866")
print getImg(html)

얻은 전체 페이지에서 필요한 이미지 링크를 필터링하기 위해 getImg() 함수를 만들었습니다. re 모듈에는 주로 정규 표현식이 포함되어 있습니다:

re.compile()은 정규식을 정규식 객체로 컴파일할 수 있습니다.

re.findall() 메소드는 html에서 imgre(정규 표현식)가 포함된 데이터를 읽습니다.

스크립트를 실행하면 전체 페이지에 포함된 이미지의 URL 주소를 얻을 수 있습니다.

3. 페이지 필터링된 데이터를 로컬에 저장

for 루프를 통해 필터링된 이미지 주소를 탐색하고 로컬에 저장합니다.

#coding=utf-8
import urllib
import re

def getHtml(url):
  page = urllib.urlopen(url)
  html = page.read()
  return html

def getImg(html):
  reg = r'src="(.+?\.jpg)" pic_ext'
  imgre = re.compile(reg)
  imglist = re.findall(imgre,html)
  x = 0
  for imgurl in imglist:
    urllib.urlretrieve(imgurl,'%s.jpg' % x)
    x+=1


html = getHtml("http://tieba.baidu.com/p/2460150866")

print getImg(html)

여기서 핵심은 urllib.urlretrieve() 메서드를 사용하여 원격 데이터를 로컬에 직접 다운로드하는 것입니다.

얻은 이미지 연결을 for 루프를 통해 탐색합니다. 이미지 파일 이름을 보다 표준화되게 보이도록 이름 지정 규칙은 x 변수에 1을 추가하는 것입니다. 저장 위치는 기본적으로 프로그램의 저장 디렉터리입니다.

프로그램을 실행하면 로컬 디렉터리에 다운로드된 파일을 확인할 수 있습니다.

읽어주셔서 감사합니다. 도움이 되기를 바랍니다. 이 사이트를 지원해 주셔서 감사합니다!

본 웹사이트의 성명

본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

AI 옷 제거제

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

더보기

인기 기사

KB5055523을 수정하는 방법 Windows 11에 설치되지 않습니까?

3 몇 주 전 By DDD

KB5055518을 수정하는 방법 Windows 10에 설치되지 않습니까?

3 몇 주 전 By DDD

<s> : 죽은 레일 - 늑대를 길들이는 방법

4 몇 주 전 By DDD

R.E.P.O.의 모든 적 및 괴물의 강도 수준

4 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

<garden> : 정원 재배 - 완전한 돌연변이 가이드

2 몇 주 전 By DDD

더보기

뜨거운 도구

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

더보기

뜨거운 주제

자바 튜토리얼

1658

14

Cakephp 튜토리얼

1415

52

라라벨 튜토리얼

1309

25

PHP 튜토리얼

1257

29

C# 튜토리얼

1231

24

더보기