Python + Selenium + Chromedriver를 사용하여 인터페이스 없는 크롤링을 구현하는 방법

Question

Selenium을 사용하여 12306을 크롤링하는 과정에서 phantomjs를 사용하여 크롤링할 수 없다는 것을 발견했습니다. chromedriver를 사용하면 됩니다. chromedriver를 사용하면 인터페이스가 다시 표시됩니다. 크롤링 효율성.
이제 두 가지 질문이 있습니다. 오랫동안 검색했지만 효과적인 솔루션을 찾을 수 없습니다
1. phantomjs를 최대한 위장하는 방법
2. 인터페이스가 표시되지 않도록 설정하는 방법 또는 크롤링을 개선할 수 있는 다른 방법이 있나요?

감사합니다! ! !

Answer 1

PyVirtualDisplay를 통해 요구 사항을 충족할 수 있습니다. 코드는 다음과 같습니다.

으아아아

---

phantomjs의 헤더 정보를 수정했는지는 모르겠지만, 합격하셔도 됩니다

으아아아

이 방법은 phantomjs의 헤더 정보를 수정하는 방법이기도 합니다.

Answer 2

헤드리스 모드에서 셀레늄을 실행하려면 내 기사를 참조하세요