javascript - 【PHP】【.NET】【JS】【AJAX】关于抓取网页源代码的问题
举例先:
用浏览器的查看源代码,只能看到网页第一次加载完成时候的源码。
然而现在很多网页都用到了AJAX技术,实际上会异步加载多次,最终呈现出来的效果和最初的源码有时候会差很多。
而我现在想要获取网页最终加载完成时候的源码。
或者说,我想获取网页每次AJAX获取值,然后通过JS修改源码之后的真实源码。
理论上说,是存在这样一份真实源码的,对吧。
用Chrome的审查元素也能获取的到的。
但是,现在我想用PHP或者.NET或者JS……
不知道大家有木有什么好的方法……
PC,WEB上都可以……不造有没有类似的函数,框架,类库,方法……
各种思路都可以……
http://www.moonlord.cn
回复内容:
举例先:
用浏览器的查看源代码,只能看到网页第一次加载完成时候的源码。
然而现在很多网页都用到了AJAX技术,实际上会异步加载多次,最终呈现出来的效果和最初的源码有时候会差很多。
而我现在想要获取网页最终加载完成时候的源码。
或者说,我想获取网页每次AJAX获取值,然后通过JS修改源码之后的真实源码。
理论上说,是存在这样一份真实源码的,对吧。
用Chrome的审查元素也能获取的到的。
但是,现在我想用PHP或者.NET或者JS……
不知道大家有木有什么好的方法……
PC,WEB上都可以……不造有没有类似的函数,框架,类库,方法……
各种思路都可以……
http://www.moonlord.cn
我之前的做法是:
1、用firebug抓包,看看ajax请求的api地址。
2、查看api请求的参数,如果没参数,直接第5步。
3、如果api的参数是在网页上面的。
4、到页面去找api的参数。(参数都是且必须是有规律的,没规律的话他就不可能把网页做成动态的了。)
5、然后带着api必须的参数再去采这个api的地址。(这时运气好的话采回来的直接是json数据,都不用处理html那么麻烦了)
PhantomJS, CasperJS
net的话WebBrowser
用浏览器的查看源代码,只能看到网页第一次加载完成时候的源码。
这是谁说的?
就是异步加载, 加载完成了你看到的也是完全加载的HTML代码。
抓取的多的很,Python有现成的

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

熱門話題

PHP 8.4 帶來了多項新功能、安全性改進和效能改進,同時棄用和刪除了大量功能。 本指南介紹如何在 Ubuntu、Debian 或其衍生版本上安裝 PHP 8.4 或升級到 PHP 8.4

CakePHP 是 PHP 的開源框架。它旨在使應用程式的開發、部署和維護變得更加容易。 CakePHP 基於類似 MVC 的架構,功能強大且易於掌握。模型、視圖和控制器 gu

登入 CakePHP 是一項非常簡單的任務。您只需使用一項功能即可。您可以記錄任何後台程序(如 cronjob)的錯誤、異常、使用者活動、使用者採取的操作。在 CakePHP 中記錄資料很容易。提供了 log() 函數

Visual Studio Code,也稱為 VS Code,是一個免費的原始碼編輯器 - 或整合開發環境 (IDE) - 可用於所有主要作業系統。 VS Code 擁有大量針對多種程式語言的擴展,可以輕鬆編寫
