https://www.everysaving.co.uk이 웹사이트의 데이터를 Python으로 크롤링하지만 데이터가 반환되지 않습니다! 크롤링을 위해 헤더와 프록시 IP를 추가했지만 작동하지 않았습니다. . .
에이전트 액세스 웹사이트는 아래 사진에서 볼 수 있습니다:
https://www.17ce.com/을 통해 중국 본토가 거의 다 차단되고, HTTP 상태가 403을 반환하는 것을 확인했습니다. 이 웹사이트의 보안 정책 수준은 상대적으로 높으며, 크롤링 빈도를 줄이기 위해 유럽 및 미국의 익명성이 높은 프록시 VPN 또는 서버를 사용하는 것이 좋습니다.
Fiddler는 패킷을 캡처하므로 브라우저가 보내는 모든 것을 보낼 수 있습니다
브라우저를 통해 주소에 직접 접근할 수 없습니다. 차단되어 있나요?
직접 클릭하면 접속이 안되네요. 싱가폴에서 프록시로 테스트했는데 열리네요
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
에이전트 액세스 웹사이트는 아래 사진에서 볼 수 있습니다:
https://www.17ce.com/을 통해 중국 본토가 거의 다 차단되고, HTTP 상태가 403을 반환하는 것을 확인했습니다.
이 웹사이트의 보안 정책 수준은 상대적으로 높으며, 크롤링 빈도를 줄이기 위해 유럽 및 미국의 익명성이 높은 프록시 VPN 또는 서버를 사용하는 것이 좋습니다.
Fiddler는 패킷을 캡처하므로 브라우저가 보내는 모든 것을 보낼 수 있습니다
브라우저를 통해 주소에 직접 접근할 수 없습니다. 차단되어 있나요?
직접 클릭하면 접속이 안되네요. 싱가폴에서 프록시로 테스트했는데 열리네요