Python 크롤러에는 어떤 패키지를 설치해야 합니까?

Python 웹 크롤러를 배우려면 어떤 라이브러리를 설치해야 하나요?

다음은 Python 크롤러와 관련된 관련 라이브러리입니다

요청 라이브러리, 구문 분석 라이브러리, 저장소, 도구 라이브러리

1. 요청 라이브러리: urllib/re/requests

(1) urllib/re는 기본적으로 Python과 함께 제공되는 라이브러리입니다. 다음 명령을 통해 수행됩니다. 확인:

환경이 정상임을 나타내는 오류 메시지가 출력되지 않습니다

( 2) 설치 요청

#🎜🎜 #2.1 CMD를 열고 pip3 설치 요청 입력

2.2 설치 대기 및 확인

#🎜🎜 #

(3) 셀레늄 설치(웹사이트 접속 동작을 위한 드라이브 브라우저)

3.1 CMD를 열고 pip3 install selenium

3.2 Chromedriver 설치

웹사이트: https://npm.taobao.org/

다운로드한 압축 패키지의 압축을 풀고 exe를 D:Python3.6.0Scripts#🎜🎜에 넣습니다. #

이 경로만 있으면 PATH 변수에서 다음을 수행할 수 있습니다

3.3 설치가 완료된 후 확인

#🎜 🎜#Enter를 누르면 Chrome 브라우저 인터페이스가 나타납니다# 🎜🎜#

3.4 다른 브라우저 설치

Interfaceless browser phantomjs

다운로드 URL: http:// phantomjs.org/

#🎜 🎜#다운로드한 후 압축을 풀고 전체 디렉터리를 D:Python3.6.0Scripts에 넣고 bin 디렉터리 경로를 PATH 변수에 추가합니다

확인:

Open CMD#🎜 🎜#

2. 구문 분석 라이브러리:

2.1 lxml(XPATH)

CMD를 열고 pip3 install lxml을 입력하거나 https://pypi.python.org에서 다운로드합니다(예: lxml-4.1.1-cp36-cp36m-win_amd64.whl(md5)). 먼저 다운로드합니다. whl 파일을 복사하고 명령줄 filename.whl에서 pip3 install을 실행합니다. filename.whl

2.2 beautifulsoup

CMD를 열려면 lxml

#을 설치해야 합니다. 🎜🎜#pip3 설치 BeautifulSoup4#🎜🎜 ## ## ## ## ## #######2.3 PyQuery (jQuery 구문과 유사)#🎜🎜 ####Open CMD, PIP3 install pyquery

설치 결과 확인

#🎜🎜 #

3.1 pymysql(MySQL 운영) , 관계형 데이터베이스)

Installation: pip3 install pymysql, install Post-test:

3.2 pymongo(MongoDB 운영, 키 -값)

설치 pip3 install pymongo

# 🎜🎜#

Verification

3.3 redis (분산 크롤러, 크롤링 대기열 유지) 설치: pip3 install redis

# 🎜🎜#

확인:

4.1Django( 분산 크롤러 유지 관리 시스템) pip3 install django

# 🎜🎜#4.2jupyter(웹 페이지에서 실행되는 메모장, 마크다운 지원, 웹 페이지에서 코드 실행 가능) 설치 pip3 install jupyter

# 🎜🎜#

검증: CMD 열기, jupyter 노트북

그런 다음 웹페이지에서 직접 메모장, 코드 블록 및 마크다운 블록을 만들고 인쇄를 지원할 수 있습니다

위 내용은 Python 크롤러에는 어떤 패키지를 설치해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!