Python으로 웹 크롤러 구축: 웹 페이지에서 데이터 추출

웹 스파이더 또는 웹 크롤러는 인터넷을 탐색하고 웹 페이지에서 특정 데이터를 수집하고 추출하도록 설계된 자동화된 프로그램입니다. 명확한 구문, 광범위한 라이브러리 및 활발한 커뮤니티로 유명한 Python은 이러한 크롤러를 구축하는 데 선호되는 언어로 부상했습니다. 이 튜토리얼에서는 잠재적인 솔루션인 98IP 프록시를 사용하여 크롤러 방지 조치를 극복하기 위한 전략을 포함하여 데이터 추출을 위한 기본 Python 웹 크롤러를 만드는 방법에 대한 단계별 가이드를 제공합니다.

나. 환경 설정

1.1 Python 설치

Python이 시스템에 설치되어 있는지 확인하세요. 뛰어난 성능과 광범위한 라이브러리 지원을 위해 Python 3을 권장합니다. 공식 Python 웹사이트에서 적절한 버전을 다운로드하세요.

1.2 필수 라이브러리 설치

웹 크롤러를 구축하려면 일반적으로 다음 Python 라이브러리가 필요합니다.

• requests: HTTP 요청 전송용.
• BeautifulSoup: HTML 구문 분석 및 데이터 추출용.
• pandas: 데이터 조작 및 저장용(선택 사항).
• time 및 random과 같은 표준 라이브러리: 크롤러 방지 메커니즘에 의한 감지를 피하기 위해 지연을 관리하고 요청을 무작위로 지정하는 데 사용됩니다.

pip를 사용하여 설치:

pip install requests beautifulsoup4 pandas

II. 크롤러 제작

2.1 HTTP 요청 보내기

requests 라이브러리를 사용하여 웹페이지 콘텐츠를 가져옵니다.

import requests

url = 'http://example.com'  # Replace with your target URL
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}  # Mimics a browser
response = requests.get(url, headers=headers)

if response.status_code == 200:
    page_content = response.text
else:
    print(f'Request failed: {response.status_code}')

2.2 HTML 파싱

BeautifulSoup을 사용하여 HTML을 구문 분석하고 데이터를 추출합니다.

from bs4 import BeautifulSoup

soup = BeautifulSoup(page_content, 'html.parser')

# Example: Extract text from all <h1> tags.
titles = soup.find_all('h1')
for title in titles:
    print(title.get_text())

2.3 크롤러 방지 조치 우회

웹사이트에서는 IP 차단, CAPTCHA와 같은 크롤러 방지 기술을 사용합니다. 이러한 문제를 피하려면:

• 요청 헤더 설정: 위에 설명된 대로 User-Agent 및 Accept와 같은 헤더를 설정하여 브라우저 동작을 모방합니다.
• 프록시 IP 활용: 프록시 서버를 사용하여 IP 주소를 마스킹하세요. 98IP Proxy와 같은 서비스는 IP 금지를 방지하는 데 도움이 되는 수많은 프록시 IP를 제공합니다.

98IP 프록시 사용(예):

98IP 프록시에서 프록시 IP와 포트를 얻습니다. 그런 다음 requests 통화에 다음 정보를 포함하세요.

proxies = {
    'http': f'http://{proxy_ip}:{proxy_port}',  # Replace with your 98IP proxy details
    'https': f'https://{proxy_ip}:{proxy_port}',  # If HTTPS is supported
}

response = requests.get(url, headers=headers, proxies=proxies)

참고: 강력한 크롤링을 위해 98IP에서 여러 프록시 IP를 검색하고 순환하여 단일 IP 차단을 방지하세요. 프록시 실패를 관리하기 위해 오류 처리를 구현합니다.

• 지연 도입: 인간의 탐색을 시뮬레이션하기 위해 요청 사이에 무작위 지연을 추가합니다.
• CAPTCHA 처리: CAPTCHA의 경우 OCR(광학 문자 인식) 또는 타사 CAPTCHA 해결 서비스를 살펴보세요. 웹사이트 서비스 약관에 유의하세요.

III. 데이터 저장 및 처리

3.1 데이터 지속성

추출된 데이터를 파일, 데이터베이스 또는 클라우드 스토리지에 저장하세요. CSV로 저장하는 방법은 다음과 같습니다.

pip install requests beautifulsoup4 pandas

위 내용은 Python으로 웹 크롤러 구축: 웹 페이지에서 데이터 추출의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!