hyperf フレームワークはどのようにログインをシミュレートし、Web コンテンツをキャプチャしますか?

hyperf フレームワークはどのようにログインをシミュレートし、Web コンテンツをキャプチャしますか? hyperf フレームワークはどのようにログインをシミュレートし、Web コンテンツをキャプチャしますか? hyperf フレームワークはどのようにログインをシミュレートし、Web コンテンツをキャプチャしますか? hyperf フレームワークはどのようにログインをシミュレートし、Web コンテンツをキャプチャしますか? hyperf フレームワークはどのようにログインをシミュレートし、Web コンテンツをキャプチャしますか?

Nine 2021-12-17 15:29:20 0  2  1003

JavaScript - Web ページをクロールする Nodejs の問題

一般的なアイデアに従って、nodejs を使用して Web サイトのすべてのニュースをキャプチャする予定です。まず、ニュースの各ページの URL を取得し、次に各ニュースの URL を取得して、リクエストを使用して各 URL のコンテンツを取得します。ただし、以下の Web サイトのすべてのページ情報と各ニュース ポイントはこれだけです。

阿神 2017-05-16 13:43:09 0  2  654

phpはWebページのデータをクロールします

Baidu テイクアウト販売者の Web ページ https://wmpass.baidu.com/ucen... をクロールするなどのニーズがありますが、この Web ページはモジュラー フロントエンド フレームワークを使用して記述されており、ソースを表示すると一部しか表示されませんレンダリング前のソース コード、以前取得していたクエリリストはページのレンダリング後ではありません...

PHP中文网 2017-05-24 11:34:27 0  1  883

Python - データを更新した後、Web ページを再度クロールできません

今日クロールした Web ページで情報が更新されましたが、その後クローラーは実行されましたが、クロールされませんでした。{コード...} 専門家がより具体的に、より多くの情報を伝えられることを願っています。

给我你的怀抱 2017-05-18 10:58:50 0  2  606

HTML ページから URL を含む CSV ファイルをアップロードし、Flask を使用してクロールする URL を読み取ります。

現在、URL のリストを含む CSV ファイルをアップロードできる Web ベースのシステムを作成する必要があります。アップロード後、システムは URL を 1 行ずつ読み取り、クロールの次のステップに使用します。ここで、クロールするには、クロールする前に Web サイトにログインする必要があります。ログイン Web サイトのソース コードはすでにあります。ただし、問題は、「upload_page.html」という名前の HTML ページを「upload_csv.py」という名前の flask ファイルに接続したいことです。ログインとスクレイピングのソース コードは flask ファイルのどこ...

P粉799885311 2023-09-07 11:22:35 0  1  567

Web スクレイピング: href 属性がありません - Web スクレイピングのマウス クリックをシミュレートする必要がありますか?

楽しい Web スクレイピング プロジェクトのために、ttps://www.nhl.com/stats/teams から NHL データを収集したいと考えています。クリック可能な Excel エクスポート ラベルがあり、Selenium と bs4 を使用して見つけることができます。残念ながら、これで終わりです。href 属性がないため、データにアクセスできないようです。 Pynput を使用してマウス クリックをシミュレートすることで目的の結果を得ることができましたが、別の方法で実行できないか考えています。面倒に感じたら。 ->エクスポートアイコン付きのタグはここにあります

P粉550823577 2024-04-04 10:32:06 0  1  3612

クリックしてチャットする Whatsapp ボタンをボット Web スクレイピングから保護するにはどうすればよいですか?

私は、人々が自分の商品を投稿したり、他の人が詳細について Whatsapp 経由で連絡したりできる機密 Web サイトを運営しています。今日、私のウェブサイトが攻撃を受け、Google Analytics の Whatsapp ボタンで大量のリンクがクリックされたのがわかりました。これは人為的なものであるはずがありません。ボタンのリンクから電話番号を取得するボットだと思います。 $phone=$row_posts['phone'];//例$phone="+212612345678&quo

P粉786800174 2023-09-03 12:52:21 0  1  590

Web ページはどのようにデータベースに接続して情報を取得するのでしょうか?

Web ページにはボタンと入力ボックスがあり、ボタンをクリックしてデータベースに接続して情報を取得し、Web ページ上の入力ボックスに情報を返します。初心者なのですが、参考になる情報源はありますか？

神秘人 2020-12-21 19:45:07 0  1  1149

悪意のある DDO が nginx 上でクロールするのを防ぐ方法

まず第一に、私は他の人が私の Web サイトのコンテンツをクロールすることに反対しません。私は必ずしも他の人のクロールを厳密に制限するわけではありません。しかし、一部の人々のクロールにはまったく利益がありません。彼らはクロールするために 1 つまたは複数のスクリプトを使用します。サーバーの内容は DDOS と変わりません。私のサーバーでは現在この問題が発生しています...

黄舟 2017-05-16 17:30:17 0  4  1061

PHPcurl、専用ネットワークインターフェース

2 つのネットワーク インターフェイスを持つ (Web サーバー) サーバーがあります。 1 つはパブリック インターネット接続用の標準インターフェイスで、もう 1 つは仮想 VPN ネットワーク インターフェイスです。次に、VPN ネットワーク内の他の Web サービスに、curl を介して POST データを送信したいと考えています。そこのphpがそのアドレスを呼び出すためにVPNネットワークインターフェイスを使用する必要があるとどうやって言えますか?

P粉521697419 2023-11-08 20:01:46 0  1  740

javascript - js はユーザーのネットワークがインターネットにアクセスできるかどうかを決定しますか?

フロントエンドはユーザーのネットワークがインターネットにアクセスできるかどうかをどのように判断するのでしょうか?ユーザーの中には外部ネットワークがないと内部ネットワークを持てない人もいるため、インターネットにアクセスできないユーザーを検出したい場合は、外部リンクへの接続を解除することができます。経験のある方、判断方法を教えていただけませんか~~~デモ~~

女神的闺蜜爱上我 2017-07-05 10:51:37 0  9  1043

php - 通信ソフトウェアは URL を送信するときに Web ページ情報をキャプチャできますか?

お聞きしたいのですが、webサイトのURLをwechatやlineなどの通信ソフトに放り込んだ場合、webページの情報は取得できるのでしょうか？たとえば、私がtinder.comを失った場合、彼はアイコンをキャプチャできます...これを行うにはどうすればよいですか?スクリーンショット 2017 年 6 月 10 日午後 10 時 23 分 49 秒.png

巴扎黑 2017-06-12 09:21:43 0  1  654

Excel/VBA を使用して Web ページから情報を収集する

Web ページからデータをスクレイピングしようとしています。4 ビットのデータが必要で、そのうち 2 ビットは取得できましたが、残りの 2 ビットはヒントを受けています。これは固定 URL ではありませんが、この URL はリダイレクト後に IE から取得されたものであるため、この例では https://cpc.farnell.com/warton/microprint-p2010-15-32um-250g/ solder を使用します。 -paste-15-32um-250g-pot/dp/SD02808 タイトルを取得したいと思っています: Micr

P粉555696738 2023-09-02 18:48:32 0  1  849

javascript - Nodejs のリクエスト ライブラリを使用して Web ページから画像をキャプチャする方法

{コード...} requestとwritefileをpromiseの形式で書きました。htmlのキャプチャは可能ですが、画像のキャプチャはできません。最初はデータ出力は文字列型、つまりリクエストの本文は文字列です。型なので、Buffer.from を使用してバッファ型に変換します...

滿天的星座 2017-06-17 09:16:39 0  1  864

node.js - スーパーエージェントを使用して UTF-8 Web サイトの文字化けをキャプチャする

superagent + Cherio を使用して *Dong の製品をクロールしているのですが、返される中国語の文字化けした応答ヘッダーは次のとおりです gzip で圧縮されていますが、superagent が *Dong の製品アドレス https://item.jd.com を解凍するのは当然ですデフォルトでは /5025518.html 製品タイトルを取得した結果は次のとおりです...

天蓬老师 2017-07-06 10:35:50 0  2  1390

laravelフレームワーク4モバイル3Gネットワ​​ーク送信リクエストでデータを取得できません

アプリのバックエンドフレームワークとしてlaravel4を使用して構築しましたが、モバイル3Gを使用してデータをリクエストすると、データを取得できません。何が問題なのかわかりません。 私が使用しているネットワークは次のとおりです: CMWAP これはリクエストです {code...} {code...}

phpcn_u1582 2017-05-16 16:56:50 0  2  730

Web クローラー - Java を使用して情報をクロールし、ランキング システムを作成するにはどうすればよいですか?

Java Webを学習しているときに、たまたま興味深いプロジェクトがありました。本校では朝ランニングにはクレジットカードが必要ですが、体育科では問い合わせサイトは用意していますが、インターフェースは提供していません。学校の Web サイトから情報を取得してデータベースに保存する Web サイト/WeChat バックエンドを作成して、ユーザーが私の Web サイト/WeChat を通じてクエリできるようにしたいと考えています...

迷茫 2017-06-12 09:19:16 0  4  663

php動的Webクローリング

chrome-php/chrome ライブラリを使用して動的にレンダリングされた Web ページを読み取ろうとしていますが、何も返されません。 php8.0バージョンを使用しています。これは私が実装したものです[ドキュメントに従いました] - useHeadlessChromium\BrowserFactory;$browserFactory=newBrowserFactory();//startsheadlesschrome$browser=$browserFactory->c

P粉311089279 2023-09-01 18:42:58 0  1  540

node.js - ネットワークステータスを使用しないノードのインストール

ネットワークがない場合 (Linux マシンにはネットワークがなく、LAN のみを使用できます)、前のプロジェクトからダウンロードしたノード モジュールが指定されたディレクトリに直接コピーされて使用できない場合はどうすればよいですか? 推奨される代替方法はありますか? ?

天蓬老师 2017-05-16 13:35:54 0  1  572

xp.cn を開けません。ネットワークに問題がありますか?

xp.cn を開けません。ネットワークに問題がありますか? xp.cn を開けません。ネットワークに問題がありますか? xp.cn を開けません。ネットワークに問題がありますか? xp.cn を開けません。ネットワークに問題がありますか?

zjjsn 2022-03-29 18:16:59 0  2  1152