Python + Selenium + chromedriver を使用してインターフェイスレス クロールを実装する方法
迷茫
迷茫 2017-05-18 10:53:13
0
2
920

Selenium を使用して 12306 をクロールする過程で、phantomjs はクロールに使用できず、chromedriver は使用できることがわかりました。phantomjs が Web サイトによって検出され、禁止されているはずです。chromedriver を使用すると、インターフェイスが再度表示されます。クローリング効率も低いです。
ここで 2 つの質問があります。長い間 Google で検索していましたが、効果的な解決策が見つかりませんでした。
1. phantomjs を可能な限り偽装する方法
2. chromedriver のセットアップ方法インターフェイスを表示しないようにするか、クロール効率を向上させる他の方法はありますか? ###ありがたい! ! !

迷茫
迷茫

业精于勤,荒于嬉;行成于思,毁于随。

全員に返信(2)
洪涛

PyVirtualDisplay を通じてニーズを実現できます。コードは次のようになります。

リーリー

phantomjsのヘッダー情報を変更していれば渡せます

リーリー

このメソッドはphantomjsのヘッダー情報を変更することもできます

いいねを押す +0
世界只因有你

Seleniumをヘッドレスモードで実行するには私の記事を参照してください

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート