首页 > 后端开发 > php教程 > PHP:采集程序

PHP:采集程序

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
发布: 2016-06-06 20:45:03
原创
992 人浏览过

前几天接了一个小项目,具体需求
可以任意指定一个网站域名,然后就可以使用自己的域名进行访问,网站结构什么的都跟对方的一模一样
显然,这是一个小偷程序吧。
实现思路:对于一般的静态网址(比如:/2014/06/19/index.html
当第一次访问的时候(比如:www.xxx.com/2014/06/19/index.html
就去采www.sohu.com/2014/06/19/index.html网页
然后在自己的的网站根目录下,创建相应的文件夹和文件(2014->06->19->index.html
但是对于动态网址
比如:/index.php?type=news,要知道文件夹名或文件名中是不能包含一些特殊字符的
对于此,可以将一些特殊字符进行替换
但是,现在客户又提出了一些奇葩要求,比如:需要采集下来的网站结构不要跟对方一样,最好自定义自己的网址结构
比如:www.sohu.com/2014/06/19/index.html
结果:www.xxx.com/2014_06_19_index.html
而不是:www.xxx.com/2014/06/19/index.html
对此,大家有什么比较好的实现方案吗?
或者有功能比较强大的开源程序了吗?

回复内容:

前几天接了一个小项目,具体需求
可以任意指定一个网站域名,然后就可以使用自己的域名进行访问,网站结构什么的都跟对方的一模一样
显然,这是一个小偷程序吧。
实现思路:对于一般的静态网址(比如:/2014/06/19/index.html
当第一次访问的时候(比如:www.xxx.com/2014/06/19/index.html
就去采www.sohu.com/2014/06/19/index.html网页
然后在自己的的网站根目录下,创建相应的文件夹和文件(2014->06->19->index.html
但是对于动态网址
比如:/index.php?type=news,要知道文件夹名或文件名中是不能包含一些特殊字符的
对于此,可以将一些特殊字符进行替换
但是,现在客户又提出了一些奇葩要求,比如:需要采集下来的网站结构不要跟对方一样,最好自定义自己的网址结构
比如:www.sohu.com/2014/06/19/index.html
结果:www.xxx.com/2014_06_19_index.html
而不是:www.xxx.com/2014/06/19/index.html
对此,大家有什么比较好的实现方案吗?
或者有功能比较强大的开源程序了吗?

file_get_contents() 函数获取网页源码
http://www.w3school.com.cn/php/func_filesystem_file_get_contents.asp

strtok() 函数对文件名进行处理
http://www.w3school.com.cn/php/func_string_strtok.asp

用火车头采集吧,这个很强大

写个简单的路由,然后匹配文件就行了

反向代理

PHP:采集程序

CURL抓取页面内容,然后preg_match_all匹配正则表达式。得到页面上指定的内容。

先采集再分配目录不好吗?

相关标签:
php
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
怎么学好php
来自于 1970-01-01 08:00:00
0
0
0
PHP扩展intl
来自于 1970-01-01 08:00:00
0
0
0
php数据获取?
来自于 1970-01-01 08:00:00
0
0
0
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板