获取网站所有网页访问的URL地址和页面资源加载访问地址

WBOY
Lepaskan: 2016-06-06 20:11:32
asal
2024 orang telah melayarinya

网站上面现有来两个图片服务器的域名地址,现在我想获取当前的网站究竟有哪些页面是访问了其中某一个服务器的域名。包括隐藏在js里面生成的访问地址。只要是网站上任何一个元素能向那个域名提交请求的。都要获取到。
这个思路应该怎么写?如果是用php或者是python写这个脚本应该用哪些工具?

回复内容:

网站上面现有来两个图片服务器的域名地址,现在我想获取当前的网站究竟有哪些页面是访问了其中某一个服务器的域名。包括隐藏在js里面生成的访问地址。只要是网站上任何一个元素能向那个域名提交请求的。都要获取到。
这个思路应该怎么写?如果是用php或者是python写这个脚本应该用哪些工具?

如果自己的网站可以写一段js foreach本页面的img对象的src然后通过ajax提交后台接口;
如果是本地工具抓取的话只能用selenium这种能够解析js的工具了;

推荐分析图片服务器的访问日志
用python写,应该蛮快的

Label berkaitan:
sumber:php.cn
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan