html - 크롤링 시 "DNS 조회 실패"가 표시되지만 웹 페이지를 열면 문제가 없습니다. 무슨 일이 일어나고 있나요?

Question

RT, Python을 사용하여 크롤링을 하면 처음에는 모든 것이 정상이었는데 갑자기 웹페이지가 멈췄습니다. 잠시 기다린 후 다시 정상으로 돌아왔습니다. 그런데 이때 다시 크롤링을 하면 "DNS 조회"가 보고됩니다. 실패했습니다. 많은 웹사이트와 웹페이지를 시도했지만 정상적으로 열립니다.

이유와 해결책을 알려주세요. 무릎을 꿇고 감사합니다! !

Answer 1

으아악

http는 주소의 일부가 아닌 프로토콜이므로 DNS 확인이 실패합니다.

예를 들어 Baidu의 웹사이트 주소를 구문 분석하려는 경우:
올바른 주소: www.baidu.com
잘못된 주소: http://www.baidu.com