Bei der Verwendung von Selen zum Crawlen von 12306 habe ich festgestellt, dass PhantomJS nicht zum Crawlen verwendet werden kann. Es sollte so sein, dass PhantomJS von der Website erkannt und blockiert wird, und das Crawlen Der Wirkungsgrad ist gering.
Jetzt habe ich zwei Fragen bei Google, aber ich habe keine wirksame Lösung gefunden
1 Wie man Chromedriver so einrichtet, dass dies nicht der Fall ist Zeigen Sie die Benutzeroberfläche an oder gibt es andere Möglichkeiten, das Crawling zu verbessern?
Danke! ! !
通过PyVirtualDisplay可以实现你的需求,大概代码就是这样:
不知道你修改过phantomjs的头信息没有,可以通过
这种方式修改phantomjs的头部信息,这个也可以试试
可以参考鄙人的文章在headless模式下运行selenium