に質問検索_PHP中国語ウェブサイト

コミュニティ学ぶツールライブラリレジャー

日本語

人気の検索：
PHP
MySQL
jquery
HTML
CSS

JavaScript - ノードが Weibo をクロールする

私はノードを初めて使用したので、Sina Weibo のコメントをクロールするためのクローラーを作成したいと思っていましたが、ページは JS によって動的に生成されており、http モジュールを使用してクロールできないことがわかりました。そのため、phantomjs を使用してクロールしました (遅くなり、実行に 1 か月近くかかりました） 15 分、遅すぎます、書き方が間違っていたかどうかはわかりません）、それでも動作しない場合は、どうすればよいかを聞きたいです...

仅有的幸福 2017-06-30 10:00:08

JavaでJS処理されたコードをクロールする方法

ページアドレス: http://acm.hdu.edu.cn/showpro... クロールの目標: これらの数式のコードをクロールしたい場合、Chrome で F12 を押すと表示されるコード: ただし、クロールされたコードは次のとおりです。このコードは正しい数式を表示しません。これらのコードはすべて js によって生成されているようです。これにクロールする方法...

为情所困 2017-05-17 10:04:18

Python が文字化けしたリクエストを含む Web ページをクロールする

**以前、査読文書のデータをクロールしたことがありますが、その間に再度クローラーを実行したところ、Webページのデータが取得できず、検索したところリクエストWebページのソースコードが文字化けしていることが分かりました* * (返されたデータの一部は次のようにインターセプトされます: <meta http -equiv="Content-Type" content="text/htm...

phpcn_u1582 2017-06-22 11:51:56

Python + Selenium + chromedriver を使用してインターフェイスレスクロールを実装する方法

Selenium を使用して 12306 をクロールする過程で、phantomjs はクロールに使用できず、chromedriver は使用できることがわかりました。これは、Web サイトによって phantomjs が検出され、禁止されているはずです。chromedriver を使用すると、インターフェイスが再び表示され、クロールが行われます効率が低いです。質問が 2 つあります。長い間グーグルで調べましたが、まだ見つかりません...

迷茫 2017-05-18 10:53:13

Web サイトのドメイン名の下にあるすべてのリンクをクロールします。

PHP を使用して Web サイト上のすべてのリンクをクロールするにはどうすればよいですか?ドメイン名を入力すると、変更されたドメイン名の下にあるすべてのリンクを取得できます。ループ内のリンクをクロールする場合、重複したリンクを削除するにはどうすればよいですか?

蜻竺 2020-06-16 15:59:46

Python - Douyuのフォロワー数が読み込み画面で表示されるのですが、フォロワー数をクロールするにはどうすればいいですか？

Douyu のフォロワー数をクロールして {code...} を表示し、Web サイトが読み込まれた後に {code...} を表示します。このようなデータをどのようにクロールすればよいでしょうか?

巴扎黑 2017-07-05 10:34:08

Python - pyspiderのスケジュールされたクロールの問題

クローラーを作成するときに、コード内で Every を設定した後、21 日に一度クロールした後、結果が今日更新されておらず、lastcrawltime も 21 日のままであることがわかりました。パラメータの設定が間違っているのでしょうか？

我想大声告诉你 2017-05-18 10:53:29

Web クローラー - Python を使用して Blog Park ブログ内の写真をクロールするにはどうすればよいですか?

Blog Park ブログ内の画像をクロールするための小さなコードを作成しました。このコードは一部のリンクには有効ですが、一部のリンクはクロールされるとすぐにエラーを報告します。理由は何ですか? {code...} 図のように、画像は正しくクロールできています。URL を {code...} に変更すると、すぐにエラーが報告されます。解決してください。ありがとうございます。

某草草 2017-05-18 10:45:39

Python - 画像のクロールについて質問がありますか?

現在のクローラーは通常、HTML から画像を解析しますが、問題は、一部の画像パスが JS で記述されていることです。これどうやって登るの？ブラウザで f12 ポイントを開いてソース内の画像を表示できることはわかっていますが、クローラーを使用してソース内のリソースをクロールするにはどうすればよいでしょうか?

我想大声告诉你 2017-06-28 09:25:40

Python - リダイレクトされた Web サイトからデータをクロールする方法

私は現在、クローラーに関する知識を学習し、Selenium を使用して複雑な Web サイトをクロールしています。問題が発生しました。クロールする必要がある作業指示書 Web サイト (パスワードがわかりません) は、まず認証システムにログインする必要があり、次に認証システムページで作業指示書システム接続をクリックすると、自動的にログインの必要がなくなります...

怪我咯 2017-05-19 10:07:30

如何把nutch爬取的网页内容存写到MongoDB?

最近在做一个网络爬虫，想把nutch获取的爬取内容写到MongoDB,网上找了很多，仍然不清，我是使用nutch-1.10, 我找到的内容有提到nutch2.x 才支持mongoDB的配置！请问如何把nutch爬取的网页内容存写到MongoDB?谢谢！

習慣沉默 2017-04-28 09:06:15