Python 웹 크롤러 기능의 기본 작성 방법 소개

이 글에서는 주로 Python 웹 크롤러 기능의 기본 작성 방법을 소개합니다. 웹 크롤러, 즉 Web Spider는 매우 생생한 이름입니다. 인터넷을 스파이더웹에 비유하면 스파이더는 웹을 기어다니는 거미입니다. 웹 크롤러에 관심이 있는 친구들은 이 글

웹 크롤러, 즉 웹 스파이더를 참고하세요. 매우 생생한 이름입니다. 인터넷을 거미줄에 비유한다면 거미는 웹 위를 기어다니는 거미입니다.

1. 웹 크롤러의 정의

웹 스파이더는 링크 주소를 통해 웹 페이지를 검색합니다. 웹사이트의 특정 페이지(보통 홈페이지)에서 시작하여 웹페이지의 내용을 읽고, 웹페이지에서 다른 링크 주소를 찾은 후, 이 링크 주소를 통해 다음 웹페이지를 찾아 계속 진행합니다. 이 웹사이트의 모든 페이지가 크롤링될 때까지 루프를 반복합니다. 전체 인터넷을 하나의 웹사이트로 간주한다면 웹 스파이더는 이 원리를 이용해 인터넷의 모든 웹페이지를 크롤링할 수 있습니다. 이런 방식으로 웹 크롤러는 웹 페이지를 크롤링하는 프로그램인 크롤러입니다. 웹 크롤러의 기본 작업은 웹 페이지를 크롤링하는 것입니다.

2. 웹페이지를 탐색하는 과정

웹페이지를 크롤링하는 과정은 실제로 독자들이 일반적으로 사용하는 IE 브라우저와 동일합니다. 웹페이지를 탐색합니다. 예를 들어, 브라우저의 주소 표시줄에 www.baidu.com 주소를 입력합니다.

웹페이지를 여는 과정은 실제로 브라우징 "클라이언트"인 브라우저가 서버에 요청을 보내고 서버측 파일을 로컬로 "잡은" 후 해석하고 표시하는 과정입니다. 그들을.

HTML은 태그를 사용하여 콘텐츠를 표시하고 구문 분석하고 구별하는 마크업 언어입니다. 브라우저의 기능은 획득한 HTML 코드를 구문 분석한 다음 원본 코드를 우리가 직접 보는 웹사이트 페이지로 변환하는 것입니다.

3. Python 기반의 웹 크롤러 기능

1) Python으로 html 페이지 가져오기

사실 가장 기본적인 웹사이트 캡처는

import urllib2
content = urllib2.urlopen('http://XXXX').read()

이렇게 하면 전체 HTML 문서를 얻을 수 있다는 점입니다. 전체 문서 대신 필요한 유용한 정보를 얻으세요. 이를 위해서는 다양한 태그로 채워진 HTML을 구문 분석해야 합니다.

2) Python 크롤러는 페이지를 크롤링한 후 html 메서드를 구문 분석합니다

python 크롤러 html 구문 분석 라이브러리 SGMLParser

Python에는 기본적으로 HTMLParser 및 SGMLParser와 같은 파서가 제공됩니다. 전자는 사용하기가 매우 어렵기 때문에 SGMLParser를 사용하여 샘플 프로그램을 작성했습니다.

import urllib2
from sgmllib import SGMLParser
 
class ListName(SGMLParser):
def init(self):
SGMLParser.init(self)
self.is_h4 = ""
self.name = []
def start_h4(self, attrs):
self.is_h4 = 1
def end_h4(self):
self.is_h4 = ""
def handle_data(self, text):
if self.is_h4 == 1:
self.name.append(text)
 
content = urllib2.urlopen('http://169it.com/xxx.htm').read()
listname = ListName()
listname.feed(content)
for item in listname.name:
print item.decode('gbk').encode('utf8')

여기에는 ListName이라는 클래스가 정의되어 있으며 는 SGMLParser의 메서드를 상속합니다. 변수 is_h4를 마크로 사용하여 html 파일에서 h4 태그를 확인합니다. h4 태그가 발견되면 태그의 내용이 목록 변수 이름에 추가됩니다. start_h4() 및 end_h4() 함수에 대해 설명합니다. 해당 프로토타입은 SGMLParser에서

start_tagname(self, attrs)
end_tagname(self)

태그 이름입니다. start_pre가 호출되고 가 발생하면 end_pre가 호출됩니다. attrs는 레이블의 매개변수이며 [(속성, 값), (속성, 값), ...] 형식으로 반환됩니다.

python 크롤러 html 구문 분석 라이브러리 pyQuery

pyQuery는 Python에서 jQuery를 구현한 것이며 jQuery 구문을 사용할 수 있습니다. HTML 문서를 작동하고 구문 분석하는 데 매우 편리합니다. 사용하기 전에 easy_install pyquery를 설치하거나 Ubuntu

sudo apt-get install python-pyquery

에 설치해야 합니다. 다음 예:

from pyquery import PyQuery as pyq
doc=pyq(url=r'http://169it.com/xxx.html')
cts=doc('.market-cat')
 
for i in cts:
print '====',pyq(i).find('h4').text() ,'===='
for j in pyq(i).find('.sub'):
print pyq(j).text() ,
print '\n'

Python 크롤러 html 파싱 라이브러리 BeautifulSoup

문제는 대부분의 웹 페이지가 표준을 완벽하게 준수하지 않고 작성되었으며 설명할 수 없는 다양한 오류로 인해 사람들이 찾고 싶어한다는 것입니다. 웹 페이지를 작성하고 그를 때린 사람. 이 문제를 해결하기 위해 우리는 유명한 BeautifulSoup을 선택하여 HTML 문서를 구문 분석할 수 있습니다. 이는 우수한 내결함성을 가지고 있습니다.

위 내용은 이 글의 전체 내용입니다. Python 웹 크롤러 기능 구현에 대한 자세한 분석과 소개를 제공하므로 모든 분들의 학습에 도움이 되기를 바랍니다.

위 내용은 Python 웹 크롤러 기능의 기본 작성 방법 소개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!