PHP:采集程序
前几天接了一个小项目,具体需求
可以任意指定一个网站域名,然后就可以使用自己的域名进行访问,网站结构什么的都跟对方的一模一样
显然,这是一个小偷程序吧。
实现思路:对于一般的静态网址(比如:/2014/06/19/index.html
)
当第一次访问的时候(比如:www.xxx.com/2014/06/19/index.html
)
就去采www.sohu.com/2014/06/19/index.html
网页
然后在自己的的网站根目录下,创建相应的文件夹和文件(2014->06->19->index.html
)
但是对于动态网址
比如:/index.php?type=news
,要知道文件夹名或文件名中是不能包含一些特殊字符的
对于此,可以将一些特殊字符进行替换
但是,现在客户又提出了一些奇葩要求,比如:需要采集下来的网站结构不要跟对方一样,最好自定义自己的网址结构
比如:www.sohu.com/2014/06/19/index.html
结果:www.xxx.com/2014_06_19_index.html
而不是:www.xxx.com/2014/06/19/index.html
对此,大家有什么比较好的实现方案吗?
或者有功能比较强大的开源程序了吗?
回复内容:
前几天接了一个小项目,具体需求
可以任意指定一个网站域名,然后就可以使用自己的域名进行访问,网站结构什么的都跟对方的一模一样
显然,这是一个小偷程序吧。
实现思路:对于一般的静态网址(比如:/2014/06/19/index.html
)
当第一次访问的时候(比如:www.xxx.com/2014/06/19/index.html
)
就去采www.sohu.com/2014/06/19/index.html
网页
然后在自己的的网站根目录下,创建相应的文件夹和文件(2014->06->19->index.html
)
但是对于动态网址
比如:/index.php?type=news
,要知道文件夹名或文件名中是不能包含一些特殊字符的
对于此,可以将一些特殊字符进行替换
但是,现在客户又提出了一些奇葩要求,比如:需要采集下来的网站结构不要跟对方一样,最好自定义自己的网址结构
比如:www.sohu.com/2014/06/19/index.html
结果:www.xxx.com/2014_06_19_index.html
而不是:www.xxx.com/2014/06/19/index.html
对此,大家有什么比较好的实现方案吗?
或者有功能比较强大的开源程序了吗?
file_get_contents() 函数获取网页源码
http://www.w3school.com.cn/php/func_filesystem_file_get_contents.asp
strtok() 函数对文件名进行处理
http://www.w3school.com.cn/php/func_string_strtok.asp
用火车头采集吧,这个很强大
写个简单的路由,然后匹配文件就行了
反向代理
CURL抓取页面内容,然后preg_match_all匹配正则表达式。得到页面上指定的内容。
先采集再分配目录不好吗?

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











PHP 8.4는 상당한 양의 기능 중단 및 제거를 통해 몇 가지 새로운 기능, 보안 개선 및 성능 개선을 제공합니다. 이 가이드에서는 Ubuntu, Debian 또는 해당 파생 제품에서 PHP 8.4를 설치하거나 PHP 8.4로 업그레이드하는 방법을 설명합니다.

CakePHP는 PHP용 오픈 소스 프레임워크입니다. 이는 애플리케이션을 훨씬 쉽게 개발, 배포 및 유지 관리할 수 있도록 하기 위한 것입니다. CakePHP는 강력하고 이해하기 쉬운 MVC와 유사한 아키텍처를 기반으로 합니다. 모델, 뷰 및 컨트롤러 gu

CakePHP에 로그인하는 것은 매우 쉬운 작업입니다. 한 가지 기능만 사용하면 됩니다. cronjob과 같은 백그라운드 프로세스에 대해 오류, 예외, 사용자 활동, 사용자가 취한 조치를 기록할 수 있습니다. CakePHP에 데이터를 기록하는 것은 쉽습니다. log() 함수는 다음과 같습니다.

VS Code라고도 알려진 Visual Studio Code는 모든 주요 운영 체제에서 사용할 수 있는 무료 소스 코드 편집기 또는 통합 개발 환경(IDE)입니다. 다양한 프로그래밍 언어에 대한 대규모 확장 모음을 통해 VS Code는

CakePHP는 오픈 소스 MVC 프레임워크입니다. 이를 통해 애플리케이션 개발, 배포 및 유지 관리가 훨씬 쉬워집니다. CakePHP에는 가장 일반적인 작업의 과부하를 줄이기 위한 여러 라이브러리가 있습니다.
