目录
php curl 抓網頁數據問題，聽說內地神人很多，求神人解
php
因工作需求，需要抓取别人网站的数据，使用php + curl 但是遇到问题无解
听说内地的神人很多，请各位神人帮帮小弟，来自台湾的小弟已经爬文爬文三天了。
网址：http://www.cbssports.com/mlb/scoreboard
然后，选择下方正在比赛中的赛事，点选GAMETRACKER 就可以看到直播
问题来了
以这个网址为例：(当各位大大看到时，也许赛事已经结束了)
ttp://www.cbssports.com/mlb/gametracker/live/MLB_20140527_TB@TOR
小弟写的程序如下：
<code>$game=array();
$ch = curl_init();
$search1=$_GET['searcharg'];
$url ="http://www.cbssports.com/mlb/gametracker/live/MLB_20140527_TB@TOR";
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11");
$data = curl_exec($ch);
curl_close($ch);
preg_match_all('/<span class="teamLocation">(.*?)/is',$data,$teamCity);
</span></code>登录后复制
….(进行字符串解析)
目前已知问题：
不管是 「另存新檔」save as ，还是 检视原始档 ，一些该出现的html都没有出现，例如：
原网站为：
<code><tr id="current-pitcher">
<td><img src="/static/imghw/default1.png" data-src="http://sports.cbsimg.net/images/baseball/mlb/players/60x80/1961062.jpg" class="lazy" border="0" alt="php curl 抓網頁數據問題，聽說內地神人很多，求神人解" ></td>
<td>
<span class="label">Pitcher:</span><span class="name"><b>M. Mariot</b> | # 48 RP</span>
<br>
<a href="#" class="statOpt" data-playerid="1" data-position="pitcher">Game Stats</a>
<div class="game-stats">0.1 IP</div>
<div class="season-stats">0-0, 5.73 ERA, 11.0 IP, 9 K's, 6 BB</div>
</td>
</tr>
</code>登录后复制
登录后复制
不管是另存新档的网页或是curl 抓出来的结果为
<ul class="nav">
<li class="active ingame" data-filter="current"><a href="#">Current Situation</a></li>
<li data-filter="hitchart"><a href="#">Hitting Charts</a></li>
<li data-filter="pitchchart"><a href="#">Pitching Charts</a></li>
</ul>
<div class="currentSituation ingame">
<div class="batter-pitcher fLeft">
<table>
<tr id="current-pitcher">
<td><img src="/static/imghw/default1.png" data-src="http://sports.cbsimg.net/images/baseball/mlb/players/60x80/no-photo-available.jpg" class="lazy" border="0" alt="php curl 抓網頁數據問題，聽說內地神人很多，求神人解" ></td>
<td>
<span class="label">Pitcher:</span><span class="name"> </span>
<br>
<a href="#" class="statOpt" data-playerid="1" data-position="pitcher">Game Stats</a>
<div class="game-stats">
<p>上面蓝色代表没有显示出来的，</p>
<p>目前我试过的方式，送cookie！模拟浏览器 ，还是没效，<br>
不知道各位内地的神人有没有解？请给小弟一个方向吧(跪求)</p>
<h2 id="回复内容">回复内容：</h2>
<p>因工作需求，需要抓取别人网站的数据，使用php + curl 但是遇到问题无解</p>
<p>听说内地的神人很多，请各位神人帮帮小弟，来自台湾的小弟已经爬文爬文三天了。</p>
<hr>
<p>网址：http://www.cbssports.com/mlb/scoreboard</p>
<p>然后，选择下方正在比赛中的赛事，点选GAMETRACKER 就可以看到直播</p>
<p>问题来了</p>
<p>以这个网址为例：(当各位大大看到时，也许赛事已经结束了)</p>
<p>ttp://www.cbssports.com/mlb/gametracker/live/MLB_20140527_TB@TOR</p>
<p>小弟写的程序如下：</p>
<div class="code" style="position:relative; padding:0px; margin:0px;"><pre class="brush:php;toolbar:false"><code>$game=array();
$ch = curl_init();
$search1=$_GET['searcharg'];
$url ="http://www.cbssports.com/mlb/gametracker/live/MLB_20140527_TB@TOR";
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11");
$data = curl_exec($ch);
curl_close($ch);
preg_match_all('/<span class="teamLocation">(.*?)/is',$data,$teamCity);
</span></code></pre><div class="contentsignin">登录后复制</div></div>
<p>….(进行字符串解析)</p>
<p>目前已知问题：<br>
不管是 「另存新檔」save as ，还是 检视原始档 ，一些该出现的html都没有出现，例如：<br>
原网站为：</p>
<div class="code" style="position:relative; padding:0px; margin:0px;"><div class="code" style="position:relative; padding:0px; margin:0px;"><pre class="brush:php;toolbar:false"><code><tr id="current-pitcher">
<td><img src="/static/imghw/default1.png" data-src="http://sports.cbsimg.net/images/baseball/mlb/players/60x80/1961062.jpg" class="lazy" border="0" alt="php curl 抓網頁數據問題，聽說內地神人很多，求神人解" ></td>
<td>
<span class="label">Pitcher:</span><span class="name"><b>M. Mariot</b> | # 48 RP</span>
<br>
<a href="#" class="statOpt" data-playerid="1" data-position="pitcher">Game Stats</a>
<div class="game-stats">0.1 IP</div>
<div class="season-stats">0-0, 5.73 ERA, 11.0 IP, 9 K's, 6 BB</div>
</td>
</tr>
</code></pre><div class="contentsignin">登录后复制</div></div><div class="contentsignin">登录后复制</div></div>
<p>不管是另存新档的网页或是curl 抓出来的结果为</p>
<div class="code" style="position:relative; padding:0px; margin:0px;"><pre class="brush:php;toolbar:false"><code><ul class="nav">
<li class="active ingame" data-filter="current"><a href="#">Current Situation</a></li>
<li data-filter="hitchart"><a href="#">Hitting Charts</a></li>
<li data-filter="pitchchart"><a href="#">Pitching Charts</a></li>
</ul>
<div class="currentSituation ingame">
<div class="batter-pitcher fLeft">
<table>
<tr id="current-pitcher">
<td><img src="/static/imghw/default1.png" data-src="http://sports.cbsimg.net/images/baseball/mlb/players/60x80/no-photo-available.jpg" class="lazy" border="0" alt="php curl 抓網頁數據問題，聽說內地神人很多，求神人解" ></td>
<td>
<span class="label">Pitcher:</span><span class="name"> </span>
<br>
<a href="#" class="statOpt" data-playerid="1" data-position="pitcher">Game Stats</a>
<div class="game-stats">
<p>上面蓝色代表没有显示出来的，</p>
<p>目前我试过的方式，送cookie！模拟浏览器 ，还是没效，<br>
不知道各位内地的神人有没有解？请给小弟一个方向吧(跪求)</p>
<p class="answer fmt" data-id="1020000000522290">
</p>
<p>额，不知道你碰到了什么问题，不过我看了下就是简单的抓取，完全没问题啊。另外，解析HTML请不要在用正则了，推荐你用一下 phpQuery 这个库，PHP抓取利器。以你给的网址为例：</p>
<pre class='brush:php;toolbar:false;'>include "phpQuery.php";
phpQuery::newDocumentFile("http://www.cbssports.com/mlb/gametracker/live/MLB_20140527_TB@TOR");
echo pq("#current-pitcher")->html();
</pre><div class="contentsignin">登录后复制</div></div>
<p><img src="/static/imghw/default1.png" data-src="http://segmentfault.com/img/bVcl2b" class="lazy" data- alt="php curl 抓網頁數據問題，聽說內地神人很多，求神人解" ></p>
<p class="answer fmt" data-id="1020000000522314">
</p>
<p>我遇到的问题 其实说穿了就是</p>
<p>...我用firbug 或 chrome debug时，所追踪的html 跟我 「检视原始档」和「另存新档」时所看到的资料不同：</p>
<p>目前有赛事 http://www.cbssports.com/mlb/gametracker/live/MLB_20140527_DET@OAK</p>
<p>神人求解</p>
<p class="answer fmt" data-id="1020000000522593">
</p>
<p>你想要抓去的html内容，是由javascript生成的，抓包工具都不会解析执行javascript的。<br>
解决方法就是用phantomjs，可以跑一个受脚本控制的，无界面的webkit。</p>
</div>
</td>
</tr>
</table>
</div>
</div>本站声明
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
热AI工具
Undresser.AI Undress
人工智能驱动的应用程序，用于创建逼真的裸体照片
AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。
Undress AI Tool
免费脱衣服图片
Clothoff.io
AI脱衣机
AI Hentai Generator
免费生成ai无尽的。
热门文章
R.E.P.O.能量晶体解释及其做什么（黄色晶体）
2 周前
By 尊渡假赌尊渡假赌尊渡假赌
仓库：如何复兴队友
4 周前
By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险：如何获得巨型种子
4 周前
By 尊渡假赌尊渡假赌尊渡假赌
击败分裂小说需要多长时间？
3 周前
By DDD
R.E.P.O.保存文件位置：在哪里以及如何保护它？
3 周前
By DDD
热工具
记事本++7.3.1
好用且免费的代码编辑器
SublimeText3汉化版
中文版，非常好用
禅工作室 13.0.1
功能强大的PHP集成开发环境
Dreamweaver CS6
视觉化网页开发工具
SublimeText3 Mac版
神级代码编辑软件(SublimeText3)
适用于 Ubuntu 和 Debian 的 PHP 8.4 安装和升级指南
Dec 24, 2024 pm 04:42 PM
PHP 8.4 带来了多项新功能、安全性改进和性能改进，同时弃用和删除了大量功能。 本指南介绍了如何在 Ubuntu、Debian 或其衍生版本上安装 PHP 8.4 或升级到 PHP 8.4
讨论 CakePHP
Sep 10, 2024 pm 05:28 PM
CakePHP 是 PHP 的开源框架。它的目的是使应用程序的开发、部署和维护变得更加容易。 CakePHP 基于类似 MVC 的架构，功能强大且易于掌握。模型、视图和控制器 gu
如何设置 Visual Studio Code (VS Code) 进行 PHP 开发
Dec 20, 2024 am 11:31 AM
Visual Studio Code，也称为 VS Code，是一个免费的源代码编辑器 - 或集成开发环境 (IDE) - 可用于所有主要操作系统。 VS Code 拥有针对多种编程语言的大量扩展，可以轻松编写
