백엔드 개발 PHP 튜토리얼 采集遇到一个怪异有关问题

采集遇到一个怪异有关问题

Jun 13, 2016 pm 01:36 PM
curl linux windows

采集遇到一个怪异问题
目标地址 www.zhibo8.com

本地环境:windows xp + xmapp 1.7.7
file_get_contents 或者 curl 都没问题,首页面完全获取;

放到国外的服务器上,linux, Apache 2.0
file_get_contents 为空
curl 会和浏览器访问打开的不一致,内容少好多,但是

结束标签是全的。

而且我用curl发送模拟浏览器的全部header也是一样不完整。

请大伙帮分析一下,可能存在的原因及如何解决,谢谢!

------解决方案--------------------
估计是linux环境的问题吧
我之前抓www.fblife.com也是windows下curl测试通过,但同样代码linux下就得不到完整的
这个网站我在Ubuntu9.10下CURL测试通过,可以抓取完整,不知道是不是你linux配置问题?
------解决方案--------------------
暂时木有。。。很纠结
说来奇怪,程序放到网站目录下,从浏览器访问程序文件抓取的信息很完整,linux,windows都可以,但是,linux后台抓取就是不行,怎么做都抓不全,我估计可能是linux配置的问题。楼主可以试一下wget命令
------解决方案--------------------
服务器的网络.访问国内的不行.这个是我的猜测.在国内主机上多半没问题
------解决方案--------------------
看看编码问题吧
$string = iconv('gb2312', 'utf-8//ignore', $string);
------解决方案--------------------
到国外的服务器上
file_get_contents 为空
可能未开放权限,也可能超时

curl 会和浏览器访问打开的不一致,内容少好多
那是一个纯中文网站,在国外看不到或看不全是很正常的。没有多少人能看懂中文
当然也与超时和curl支持库有关
------解决方案--------------------
这就是一种优越性
------解决方案--------------------
探讨

发现一个很悲催的问题,设置项太多了,就会出问题

function curl_file_get_contents($durl){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $durl);
curl_setopt($ch, CURLOPT_TIMEOUT, 30);
curl_setopt($ch, CURLOPT_RETURNT……
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

c 멀티 스레딩의 세 가지 구현 방법의 차이점은 무엇입니까? c 멀티 스레딩의 세 가지 구현 방법의 차이점은 무엇입니까? Apr 03, 2025 pm 03:03 PM

멀티 스레딩은 컴퓨터 프로그래밍에서 중요한 기술이며 프로그램 실행 효율성을 향상시키는 데 사용됩니다. C 언어에는 스레드 라이브러리, Posix 스레드 및 Windows API를 포함하여 멀티 스레딩을 구현하는 방법에는 여러 가지가 있습니다.

C 언어 조건부 편집 : 초보자가 실제 응용 프로그램에 대한 자세한 안내서 C 언어 조건부 편집 : 초보자가 실제 응용 프로그램에 대한 자세한 안내서 Apr 04, 2025 am 10:48 AM

C 언어 조건부 컴파일은 컴파일 시간 조건을 기반으로 코드 블록을 선택적으로 컴파일하는 메커니즘입니다. 입문 방법에는 다음이 포함됩니다. #IF 및 #ELSE 지시문을 사용하여 조건에 따라 코드 블록을 선택합니다. 일반적으로 사용되는 조건부 표현에는 STDC, _WIN32 및 LINUX가 포함됩니다. 실제 사례 : 운영 체제에 따라 다른 메시지를 인쇄합니다. 시스템의 숫자 수에 따라 다른 데이터 유형을 사용하십시오. 컴파일러에 따라 다른 헤더 파일이 지원됩니다. 조건부 컴파일은 코드의 휴대 성과 유연성을 향상시켜 컴파일러, 운영 체제 및 CPU 아키텍처 변경에 적응할 수 있도록합니다.

브라우저 탭을 닫고 JavaScript를 사용하여 전체 브라우저를 닫는 것을 구별하는 방법은 무엇입니까? 브라우저 탭을 닫고 JavaScript를 사용하여 전체 브라우저를 닫는 것을 구별하는 방법은 무엇입니까? Apr 04, 2025 pm 10:21 PM

브라우저에서 JavaScript를 사용하여 닫기 탭과 전체 브라우저를 닫는 방법을 구별하는 방법은 무엇입니까? 브라우저를 매일 사용하는 동안 사용자는 ...

PS의 로딩 속도 속도를 높이는 방법? PS의 로딩 속도 속도를 높이는 방법? Apr 06, 2025 pm 06:27 PM

느린 Photoshop 스타트 업 문제를 해결하려면 다음을 포함한 다중 프론트 접근 방식이 필요합니다. 하드웨어 업그레이드 (메모리, 솔리드 스테이트 드라이브, CPU); 구식 또는 양립 할 수없는 플러그인 제거; 정기적으로 시스템 쓰레기 및 과도한 배경 프로그램 청소; 주의를 기울여 관련없는 프로그램 폐쇄; 시작하는 동안 많은 파일을 열지 않도록합니다.

libv는 두입니다 libv는 두입니다 Apr 03, 2025 pm 08:03 PM

Lua-Libuv라는 프로젝트를 개발했으며 내 경험을 공유하게되어 기쁩니다. 이 프로젝트의 원래 의도는 Libuv (C로 작성된 비동기 I/O 라이브러리)를 사용하여 C 언어를 심층적으로 배울 필요없이 간단한 HTTP 서버를 구축하는 방법을 탐색하는 것입니다. Chatgpt의 도움으로 Http.c의 기본 코드를 완료했습니다. 지속적인 연결을 다룰 때 적절한 시간에 연결을 닫고 리소스를 자유롭게하는 것을 성공적으로 구현했습니다. 처음에는 연결을 닫아 기본 프로그램을 종료 한 간단한 서버를 만들려고했지만 문제가있었습니다. 스트리밍을 사용하여 데이터 블록을 전송하려고 시도했지만 작동하는 동안 메인 스레드가 차단됩니다. 결국, 나는 내 목표가 C 언어를 깊이 배우는 것이 아니기 때문에이 접근법을 포기하기로 결정했습니다. 마지막으로, 나는

【녹슬 셀프 스터디】 소개 【녹슬 셀프 스터디】 소개 Apr 04, 2025 am 08:03 AM

1.0.1 서문이 프로젝트 (코드 및 댓글 포함)는 내 스스로 가르침 녹에서 기록되었습니다. 부정확하거나 불분명 한 진술이있을 수 있습니다. 사과하십시오. 당신이 그것으로부터 혜택을받는다면, 그것은 더 좋습니다. 1.0.2 Rustrust가 신뢰할 수 있고 효율적인 이유는 무엇입니까? Rust는 C 및 C를 유사한 성능으로 대체 할 수 있지만 보안이 높을 수 있으며 C 및 C와 같은 오류를 확인하기 위해 빈번한 재 컴파일이 필요하지 않습니다. 주요 장점에는 메모리 보안 (널 포인터가 해석, 매달려있는 포인터 및 데이터 경합 방지)이 포함됩니다. 스레드-안전 (실행하기 전에 다중 스레드 코드가 안전한지 확인하십시오). 정의되지 않은 동작을 피하십시오 (예 : 경계 밖으로 배열, 발기 국가화되지 않은 변수 또는 자유 메모리에 대한 액세스). Rust는 제네릭과 같은 현대 언어 기능을 제공합니다

C 언어 기능 라이브러리는 어디에 있습니까? C 언어 기능 라이브러리를 추가하는 방법? C 언어 기능 라이브러리는 어디에 있습니까? C 언어 기능 라이브러리를 추가하는 방법? Apr 03, 2025 pm 11:39 PM

C Language Function Library는 다양한 기능을 포함하는 도구 상자이며, 다른 라이브러리 파일로 구성됩니다. 라이브러리를 추가하려면 컴파일러의 명령 줄 옵션을 통해이를 지정해야합니다. 예를 들어 GCC 컴파일러는 -L 옵션을 사용한 다음 라이브러리 이름의 약어를 사용합니다. 라이브러리 파일이 기본 검색 경로에 있지 않은 경우 -L 옵션을 사용하여 라이브러리 파일 경로를 지정해야합니다. 라이브러리는 정적 라이브러리 및 동적 라이브러리로 나눌 수 있습니다. 정적 라이브러리는 컴파일 타임에 프로그램에 직접 연결되며 동적 라이브러리는 런타임에로드됩니다.

See all articles