に質問検索_PHP中国語ウェブサイト

コミュニティ学ぶツールライブラリレジャー

日本語

人気の検索：
PHP
MySQL
jquery
HTML
CSS

Web クローラー - Python クローラーの概要

私はもうすぐ 2 年生ですが、Python を独学で勉強しており、基本的な文法は知っています。クロールを学びたいのですが、かなり知識が必要な気がするのですが、経験者の方で知っていることをまとめたり、Pythonのクロールの学び方を教えていただける方はいらっしゃいますか？

欧阳克 2017-07-05 10:34:11

Web クローラー - Python リクエストクローラーの問題

リクエストクローラーを使用しているときに問題が発生しました。アカウントとパスワードを送信しても、最初に Web ページが送信されず、代わりにスワイプ防止の標識が表示され、URL が変更されませんでした。その後、更新しても、ウェブページのデータは「別のページに送信」になります。直接送信する方法を教えてください。または...

仅有的幸福 2017-05-27 17:39:37

Python - 画像のクロールについて質問がありますか?

現在のクローラーは通常、HTML から画像を解析しますが、問題は、一部の画像パスが JS で記述されていることです。これどうやって登るの？ブラウザで f12 ポイントを開いてソース内の画像を表示できることはわかっていますが、クローラーを使用してソース内のリソースをクロールするにはどうすればよいでしょうか?

我想大声告诉你 2017-06-28 09:25:40

Web クローラー - Python3.4.1 リクエストモジュールがエラー「リスト」オブジェクトに属性「get」がありませんと報告する

Python を使用して IP アドレスをクロールするクローラーを作成しました。Web サイトはアンチクローラーであるため、エージェントを作成し、スレッドプールを使用して IP アドレスをクロールする 10 個のスレッドを開きました。しかし、エラー 'list' オブジェクトには属性 ' がありませんget' が直接報告されました。解決方法をご存知の場合は、コードを投稿してください。 BS4 インポートから...

世界只因有你 2017-06-12 09:24:16

Web クローラー - Python のrequests.get クローラーセットのプロキシ IP アドレスは変更されていません

この作業には Amazon 上の情報をクローリングする必要がありますが、Amazon のアンチクローラーが強力すぎるため、同じ IP アドレスはブロックされてしまいます。 Python バージョン: 3.6、IDE: Pycharm 2017.1. ネットで色々調べたり、リクエストライブラリのマニュアルを読んだりしましたが、どれも同じ方法で、コードは次の通りです: {code...}.. 。

typecho 2017-06-12 09:24:11

Web クローラー - node.js クローラー外部呼び出し関数が変数値を取得できません

最近、いくつかの小説を読むためのクローラーを作成したいと思ったのですが、console.log(catalogUrl) は必要な URL を出力できますが、関数 var xxx = getCatalogUrl を呼び出すことで、catalogUrl を取得できることが期待されています。 (本) この変数の値を外部で試してみます...

習慣沉默 2017-05-16 13:25:17

PHP クローラーはどのようにして動的クローラーエージェントにアクセスしますか?

php クローラーはどのようにしてクローラーエージェントにアクセスしますか? 以前に Python を使用したことがありますか? php と同じアクセス方法ですか?

Laical 2020-03-13 17:10:19

node.js - ノードクローラー、IP プールを使用してアンチクロールを防ぐにはどうすればよいですか?

問題はこれです。私はノードを学び始めたばかりの初心者です。もちろん、これは明らかにクローラー用です。それで、最近小説を読んでいたのですが、無料小説サイトでは広告が多すぎるので、小説全体をクロールするクローラーを書こうと思ったのですが、URL リクエストが多すぎて逆になってしまいました。 - クロールされてブロックされました。

为情所困 2017-06-05 11:13:33

html - クロール時に「DNS ルックアップに失敗しました」と表示されますが、Web ページを開くときには問題ありません。何が起こっていますか?

RT、Pythonを使ってクロールしたところ、最初は正常だったのですが、突然Webページが固まってしまい、しばらく待つと元に戻りましたが、この時に再度クロールすると「DNSルックアップに失敗しました」と報告されてしまいます。 "。多くの Web サイトを試しましたが、Web ページは失敗しました。正常に開きます。理由と解決策を教えてください。ひざまずいて、ありがとう！！

PHP中文网 2017-06-14 10:50:53

Python - URL でどのような種類のアンチクローラーが使用されているかを確認する方法

URL: https://www.nvshens.com/g/22377/ ブラウザで直接 Web サイトを開き、画像を右クリックしてダウンロードすると、クローラーから直接リクエストされた画像がブロックされ、ヘッダーを追加し、IP プロキシを設定しましたが、まだ機能しません。しかし、パケットキャプチャを見ると、動いているようには見えません...

ringa_lee 2017-06-12 09:27:51

Python - csdn クローラーのレビュー

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py 87〜88行目のコメントによると、クローラを使用してリンクを行うときに、なぜこのリンクに変換する必要があるのですか？ csdn の記事にコメントしますか? このリンクをどのように取得しましたか? Web ページのコードを確認しましたが、関連するリンクがありません...

仅有的幸福 2017-05-18 10:53:42

Web クローラー - Java クローラーはイメージのリンクを取得しましたが、イメージをダウンロードできません

クローラーが取得した対応する画像リソースsrcのHTMLコードは以下の通りですが、画像をダウンロードするコードを通してリソースをリンクに変換すると400エラーが報告されますが、Chromeを使用して画像リソースが取得できるかどうかをテストしています。リンクが存在します。相手の Web サイトサーバーが実際に識別できるのは...

黄舟 2017-05-17 10:01:58

PHP クローラーを使用して Amazon を収集するにはどうすればよいですか?

Amazon の Web サイトの前回のアップグレードによりクローラーがハングアップして以来、Amazon のポケッティング対策ポリシーはさらに厳しくなりました。そのため、正常な収集ができなくなります。新しい買収戦略はありますか?

Laical 2020-03-26 17:20:49

Web クローラー - Python は Web サイトをクロールし、非 JSON コンテンツを解析します

json コンテンツを取得する方法を学んだところですが、今日クロールした Web サイトは json コンテンツを返さず、リンクをリクエストするたびに乱数が生成されます。クロールしたいコンテンツに影響するかどうかはわかりません。取得する必要があるコンテンツは次のとおりです。画像中央のコンテンツ Web サイトのリンクは http://www.szse.cn/main/... です。

学习ing 2017-06-28 09:26:28

Python - クローラーがログインをシミュレートした後、csdn バックグラウンド記事リストをクロールする際に問題が発生しました

クローラーは確かにログインしています。個人情報をクロールして取得できるためですが、次の図の URL は取得できません。URL は http://write.blog.csdn.net/postlist です。これはあなたのものです。 csdn バックステージ。コードを投稿しましょう。py2.7 の {code...}。上記のコードの出力は...

ringa_lee 2017-05-18 10:51:59

Python が文字化けしたリクエストを含む Web ページをクロールする

**以前、査読文書のデータをクロールしたことがありますが、その間に再度クローラーを実行したところ、Webページのデータが取得できず、検索したところリクエストWebページのソースコードが文字化けしていることが分かりました* * (返されたデータの一部は次のようにインターセプトされます: <meta http -equiv="Content-Type" content="text/htm...

phpcn_u1582 2017-06-22 11:51:56

python爬虫 - scrapy使用redis的时候，redis需要进行一些设置吗？

用scrapy+redis+mongodb写了个爬虫，运行时不能爬取所有符合规则的网址，猜想是不是redis需要进行设置之类的，求高手解答。

巴扎黑 2017-04-24 09:12:00

Python - クローラーを使用して Web ページから画像をバッチでクロールするにはどうすればよいですか?

画像のように、ネットワーク経由で画像を閲覧して読み込み、1枚ずつ右クリックで保存するのは面倒なので、ここで画像を一括取得するクローラーを記述する方法はありますか？

给我你的怀抱 2017-06-28 09:25:48

如何把nutch爬取的网页内容存写到MongoDB?

最近在做一个网络爬虫，想把nutch获取的爬取内容写到MongoDB,网上找了很多，仍然不清，我是使用nutch-1.10, 我找到的内容有提到nutch2.x 才支持mongoDB的配置！请问如何把nutch爬取的网页内容存写到MongoDB?谢谢！

習慣沉默 2017-04-28 09:06:15

Python - Web サイトに表示される画像がクローラーによって取得された画像と異なります。問題を特定するにはどうすればよいですか?

ネットでしか見れないので練習に使いたい http://smp.yoedge.com/smp-app... 6ページ目あたりから見つけた画像リソースに意味不明な部分が壊れている箇所があります http://smp.yoedge.com/smp-app... ://smp.yoedge.com/smp-app... ://smp3.yoedge.com/smp-ap... 非常にわかりやすい部分がわかります。私のクローラーは基本的にクロールします...

PHPz 2017-05-18 10:56:43