Python 크롤러 시작하기(1) - HTTP 프로토콜을 빠르게 이해
http 프로토콜은 인터넷에서 가장 중요하고 기본적인 프로토콜 중 하나입니다. 크롤러는 종종 http 프로토콜을 처리해야 합니다. 다음 기사에서는 python 크롤러를 시작하고 HTTP 프로토콜을 빠르게 이해하는 데 대한 관련 정보를 주로 소개합니다. 기사의 소개는 필요한 친구가 참조할 수 있습니다. 함께 살펴보세요.
Preface
크롤러의 기본 원리는 HTTP 요청을 만들기 위해 브라우저를 시뮬레이션하는 것입니다. 크롤러 작성에 필요한 기초, 채용 웹사이트의 크롤러 위치에는 HTTP 프로토콜 사양에 능숙하다는 것도 명시되어 있습니다. 크롤러를 작성할 때는
부터 시작해야 합니다. HTTP 프로토콜이 무엇인가요?
귀하가 탐색하는 모든 웹페이지는 HTTP 프로토콜을 기반으로 제공됩니다. HTTP 프로토콜은 인터넷 애플리케이션에서 클라이언트(브라우저)와 서버 간의 데이터 통신을 위한 프로토콜입니다. 프로토콜은 클라이언트가 서버에 요청을 보내야 하는 형식과 서버가 반환하는 응답 형식을 규정합니다.
모든 사람이 프로토콜에 따라 요청을 시작하고 응답 결과를 반환하는 한 누구나 HTTP 프로토콜을 기반으로 자신의 웹 클라이언트(브라우저, 크롤러) 및 웹 서버(Nginx, Apache 등)를 구현할 수 있습니다. .
HTTP 프로토콜 자체는 매우 간단합니다. 클라이언트는 요청을 적극적으로 시작할 수만 있고 서버는 요청을 수신하고 처리한 후 응답 결과를 반환한다고 규정합니다. 동시에 HTTP는 state이 없는 프로토콜이며 프로토콜 자체는 그렇지 않습니다. 클라이언트의 요청 내역 기록을 기록합니다.
HTTP 프로토콜은 요청 형식과 응답 형식을 어떻게 규정합니까? 즉, 클라이언트는 어떤 형식으로 HTTP 요청을 올바르게 시작할 수 있습니까? 클라이언트가 올바르게 구문 분석할 수 있도록 서버는 응답 결과를 어떤 형식으로 반환합니까?
HTTP request
@HTTP 요청은 세 개의 groups, 즉 요청 라인, 요청 헤더 및 요청 본문으로 구성됩니다. , 헤더와 요청 본문은 선택 사항이며 모든 요청에 필수는 아닙니다.
요청 라인
요청 라인은 모든 요청의 필수 부분이며 3개로 구성됩니다. 이는 request method(메서드), 요청 URL(URI), HTTP 프로토콜 버전 등의 부분으로 구성되며 공백으로 구분됩니다.
HTTP 프로토콜에서 가장 일반적으로 사용되는 요청 방법은 GET, POST, PUT, DELETE입니다. GET 방식은 서버에서 리소스를 얻는 데 사용되며, 크롤러의 90%는 GET 요청을 기반으로 데이터를 크롤링합니다.
요청 URL은 리소스가 위치한 서버의 경로 주소를 나타냅니다. 예를 들어 위의 예에서는 클라이언트가 리소스 index.html을 얻으려고 하며 해당 경로는 루트 디렉터리 아래에 있음을 나타냅니다. (/) 서버 foofish.net.
요청 헤더
@요청 라인을 통해 전달되는 정보의 양이 매우 제한되어 있기 때문에 클라이언트는 여전히 클라이언트에게 할 말이 많습니다. 서버 사물은 요청 헤더(헤더)에 배치되어야 합니다. 요청 헤더는 서버에 몇 가지 추가 정보를 제공하는 데 사용됩니다. 예를 들어 User-Agent는 클라이언트의 신원을 나타내고 서버에 이를 알리는 데 사용됩니다. 요청은 브라우저나 크롤러 또는 Chrome에서 발생합니다. 브라우저는 여전히 FireFox입니다. HTTP/1.1은 47개의 헤더 필드 유형을 지정합니다. HTTP 헤더 필드의 형식은 콜론으로 구분된 키-값 쌍으로 구성된 Python의 사전 유형과 매우 유사합니다. 예:
User-Agent: Mozilla/5.0
클라이언트가 요청을 보낼 때 전송되는 데이터(메시지)는 요청 헤더의 끝과 요청 본문의 시작을 구별하기 위해 공백으로 구성됩니다. line을 사용하여 빈 줄에 도달하면 헤더의 끝이자 요청 본문의 시작임을 의미합니다.
요청 본문
@요청 본문은 클라이언트가 서버에 제출한 실제 콘텐츠입니다(예: 요청 시 필요한 사용자 이름 및 비밀번호). 사용자가 로그인합니다. 예를 들어, 사용자 정보 등록 시 제출한 양식 정보 등의 파일 업로드 데이터입니다.
이제 Python에서 제공하는 원래 API 소켓 모듈을 사용하여 서버에 대한 HTTP 요청을 시뮬레이션합니다
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
# 1. 与服务器建立连接
s.connect(("www.seriot.ch", 80))
# 2. 构建请求行，请求资源是 index.php
request_line = b"GET /index.php HTTP/1.1"
# 3. 构建请求首部，指定主机名
headers = b"Host: seriot.ch"
# 4. 用空行标记请求首部的结束位置
blank_line = b"\r\n"
# 请求行、首部、空行这3部分内容用换行符分隔，组成一个请求报文字符串
# 发送给服务器
message = b"\r\n".join([request_line, headers, blank_line])
s.send(message)
# 服务器返回的响应内容稍后进行分析
response = s.recv(1024)
print(response)HTTP 응답
서버는 요청을 수신하고 처리한 후 응답 콘텐츠를 클라이언트에 반환합니다. 마찬가지로 브라우저가 응답 콘텐츠를 올바르게 구문 분석하려면 응답 콘텐츠가 고정된 형식을 따라야 합니다. HTTP 응답도 HTTP 요청 형식에 해당하는 응답 줄, 응답 헤더, 응답 본문의 세 부분으로 구성됩니다.
响应行
响应行同样也是3部分组成，由服务端支持的 HTTP 协议版本号、状态码、以及对状态码的简短原因描述组成。
状态码是响应行中很重要的一个字段。通过状态码，客户端可以知道服务器是否正常处理的请求。如果状态码是200，说明客户端的请求处理成功，如果是500，说明服务器处理请求的时候出现了异常。404 表示请求的资源在服务器找不到。除此之外，HTTP 协议还很定义了很多其他的状态码，不过它不是本文的讨论范围。
响应首部
响应首部和请求首部类似，用于对响应内容的补充，在首部里面可以告知客户端响应体的数据类型是什么？响应内容返回的时间是什么时候，响应体是否压缩了，响应体最后一次修改的时间。
响应体
响应体（body）是服务器返回的真正内容，它可以是一个HTML页面，或者是一张图片、一段视频等等。
我们继续沿用前面那个例子来看看服务器返回的响应结果是什么？因为我只接收了前1024个字节，所以有一部分响应内容是看不到的。
b'HTTP/1.1 200 OK\r\n Date: Tue, 04 Apr 2017 16:22:35 GMT\r\n Server: Apache\r\n Expires: Thu, 19 Nov 1981 08:52:00 GMT\r\n Set-Cookie: PHPSESSID=66bea0a1f7cb572584745f9ce6984b7e; path=/\r\n Transfer-Encoding: chunked\r\n Content-Type: text/html; charset=UTF-8\r\n\r\n118d\r\n <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">\n\n <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">\n <head>\n\t <meta http-equiv="Content-Type" content="text/html;charset=iso-8859-1" /> \n\t <meta http-equiv="content-language" content="en" />\n\t ... </html>
从结果来看，它与协议中规范的格式是一样的，第一行是响应行，状态码是200，表明请求成功。第二部分是响应首部信息，由多个首部组成，有服务器返回响应的时间，Cookie信息等等。第三部分就是真正的响应体 HTML 文本。
至此，你应该对 HTTP 协议有一个总体的认识了，爬虫的行为本质上就是模拟浏览器发送HTTP请求，所以要想在爬虫领域深耕细作，理解 HTTP 协议是必须的。
【相关推荐】
1. python爬虫入门（4）--详解HTML文本的解析库BeautifulSoup
2. python爬虫入门（3）--利用requests构建知乎API
3. python爬虫入门（2）--HTTP库requests
위 내용은 Python 크롤러 시작하기(1) - HTTP 프로토콜을 빠르게 이해의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
AI Hentai Generator
AI Hentai를 무료로 생성하십시오.
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7547
15
1382
52
83
11
57
19
22
90
PHP 및 Python : 코드 예제 및 비교
Apr 15, 2025 am 12:07 AM
PHP와 Python은 고유 한 장점과 단점이 있으며 선택은 프로젝트 요구와 개인 선호도에 달려 있습니다. 1.PHP는 대규모 웹 애플리케이션의 빠른 개발 및 유지 보수에 적합합니다. 2. Python은 데이터 과학 및 기계 학습 분야를 지배합니다.
Centos에서 Pytorch에 대한 GPU 지원은 어떻습니까?
Apr 14, 2025 pm 06:48 PM
CentOS 시스템에서 Pytorch GPU 가속도를 활성화하려면 Cuda, Cudnn 및 GPU 버전의 Pytorch를 설치해야합니다. 다음 단계는 프로세스를 안내합니다. CUDA 및 CUDNN 설치 CUDA 버전 호환성 결정 : NVIDIA-SMI 명령을 사용하여 NVIDIA 그래픽 카드에서 지원하는 CUDA 버전을보십시오. 예를 들어, MX450 그래픽 카드는 CUDA11.1 이상을 지원할 수 있습니다. Cudatoolkit 다운로드 및 설치 : NVIDIACUDATOOLKIT의 공식 웹 사이트를 방문하여 그래픽 카드에서 지원하는 가장 높은 CUDA 버전에 따라 해당 버전을 다운로드하여 설치하십시오. CUDNN 라이브러리 설치 :
Docker 원리에 대한 자세한 설명
Apr 14, 2025 pm 11:57 PM
Docker는 Linux 커널 기능을 사용하여 효율적이고 고립 된 응용 프로그램 실행 환경을 제공합니다. 작동 원리는 다음과 같습니다. 1. 거울은 읽기 전용 템플릿으로 사용되며, 여기에는 응용 프로그램을 실행하는 데 필요한 모든 것을 포함합니다. 2. Union 파일 시스템 (Unionfs)은 여러 파일 시스템을 스택하고 차이점 만 저장하고 공간을 절약하고 속도를 높입니다. 3. 데몬은 거울과 컨테이너를 관리하고 클라이언트는 상호 작용을 위해 사용합니다. 4. 네임 스페이스 및 CGroup은 컨테이너 격리 및 자원 제한을 구현합니다. 5. 다중 네트워크 모드는 컨테이너 상호 연결을 지원합니다. 이러한 핵심 개념을 이해 함으로써만 Docker를 더 잘 활용할 수 있습니다.
Python vs. JavaScript : 커뮤니티, 라이브러리 및 리소스
Apr 15, 2025 am 12:16 AM
Python과 JavaScript는 커뮤니티, 라이브러리 및 리소스 측면에서 고유 한 장점과 단점이 있습니다. 1) Python 커뮤니티는 친절하고 초보자에게 적합하지만 프론트 엔드 개발 리소스는 JavaScript만큼 풍부하지 않습니다. 2) Python은 데이터 과학 및 기계 학습 라이브러리에서 강력하며 JavaScript는 프론트 엔드 개발 라이브러리 및 프레임 워크에서 더 좋습니다. 3) 둘 다 풍부한 학습 리소스를 가지고 있지만 Python은 공식 문서로 시작하는 데 적합하지만 JavaScript는 MDNWebDocs에서 더 좋습니다. 선택은 프로젝트 요구와 개인적인 이익을 기반으로해야합니다.
미니 오펜 센토 호환성
Apr 14, 2025 pm 05:45 PM
Minio Object Storage : Centos System Minio 하의 고성능 배포는 Go Language를 기반으로 개발 한 고성능 분산 객체 저장 시스템입니다. Amazons3과 호환됩니다. Java, Python, JavaScript 및 Go를 포함한 다양한 클라이언트 언어를 지원합니다. 이 기사는 CentOS 시스템에 대한 Minio의 설치 및 호환성을 간단히 소개합니다. CentOS 버전 호환성 Minio는 다음을 포함하되 이에 국한되지 않는 여러 CentOS 버전에서 확인되었습니다. CentOS7.9 : 클러스터 구성, 환경 준비, 구성 파일 설정, 디스크 파티셔닝 및 미니를 다루는 완전한 설치 안내서를 제공합니다.
Centos에서 Pytorch의 분산 교육을 운영하는 방법
Apr 14, 2025 pm 06:36 PM
CentOS 시스템에 대한 Pytorch 분산 교육에는 다음 단계가 필요합니다. Pytorch 설치 : 전제는 Python과 PIP가 CentOS 시스템에 설치된다는 것입니다. CUDA 버전에 따라 Pytorch 공식 웹 사이트에서 적절한 설치 명령을 받으십시오. CPU 전용 교육의 경우 다음 명령을 사용할 수 있습니다. PipinStalltorchtorchvisiontorchaudio GPU 지원이 필요한 경우 CUDA 및 CUDNN의 해당 버전이 설치되어 있는지 확인하고 해당 PyTorch 버전을 설치하려면 설치하십시오. 분산 환경 구성 : 분산 교육에는 일반적으로 여러 기계 또는 단일 기계 다중 GPU가 필요합니다. 장소
Centos에서 Pytorch 버전을 선택하는 방법
Apr 14, 2025 pm 06:51 PM
CentOS 시스템에 Pytorch를 설치할 때는 적절한 버전을 신중하게 선택하고 다음 주요 요소를 고려해야합니다. 1. 시스템 환경 호환성 : 운영 체제 : CentOS7 이상을 사용하는 것이 좋습니다. Cuda 및 Cudnn : Pytorch 버전 및 Cuda 버전은 밀접하게 관련되어 있습니다. 예를 들어, pytorch1.9.0은 cuda11.1을 필요로하고 Pytorch2.0.1은 cuda11.3을 필요로합니다. CUDNN 버전도 CUDA 버전과 일치해야합니다. Pytorch 버전을 선택하기 전에 호환 CUDA 및 CUDNN 버전이 설치되었는지 확인하십시오. 파이썬 버전 : Pytorch 공식 지점
Centos에 nginx를 설치하는 방법
Apr 14, 2025 pm 08:06 PM
Centos Nginx를 설치하려면 다음 단계를 수행해야합니다. 개발 도구, PCRE-DEVEL 및 OPENSSL-DEVEL과 같은 종속성 설치. nginx 소스 코드 패키지를 다운로드하고 압축을 풀고 컴파일하고 설치하고 설치 경로를/usr/local/nginx로 지정하십시오. nginx 사용자 및 사용자 그룹을 만들고 권한을 설정하십시오. 구성 파일 nginx.conf를 수정하고 청취 포트 및 도메인 이름/IP 주소를 구성하십시오. Nginx 서비스를 시작하십시오. 종속성 문제, 포트 충돌 및 구성 파일 오류와 같은 일반적인 오류는주의를 기울여야합니다. 캐시를 켜고 작업자 프로세스 수 조정과 같은 특정 상황에 따라 성능 최적화를 조정해야합니다.
