首页 后端开发 php教程 聽說內地神人很多,求解curl 抓網頁數據問題~

聽說內地神人很多,求解curl 抓網頁數據問題~

Jul 25, 2016 am 09:12 AM

                                 
                                 
                              
不管是另存新档的网页或是curl抓出来的结果为
                       
  • CurrentSituation
  •                        HittingCharts
                           PitchingCharts
                      
                      
                           
                               
    因工作需求,需要抓取别人网站的数据,使用php+ curl 但是遇到问题无解
    听说内地的神人很多,请各位神人帮帮小弟,来自台湾的小弟已经爬文爬文三天了。
    网址如下:
    先进入:
    http://www.cbssports.com/mlb/scoreboard
    然后,选择下方正在比赛中的赛事,点选GAMETRACKER 就可以看到直播
    问题来了
    以这个网址为例:(当各位大大看到时,也许赛事已经结束了)
    ttp://www.cbssports.com/mlb/gametracker/live/MLB_20140527_TB@TOR

    小弟写的程序如下:
    $game=array();
    $ch = curl_init();
    $search1=$_GET['searcharg'];
    $url="http://www.cbssports.com/mlb/gametracker/live/MLB_20140527_TB@TOR";
    $cookie_jar =dirname(__FILE__)."/pic.cookie";
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_USERAGENT,"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko)Chrome/20.0.1132.57 Safari/536.11");
    $data = curl_exec($ch);
    curl_close($ch);
    preg_match_all('/(.*?)/is',$data,$teamCity);
    ….(进行字符串解析)
    目前已知问题:
    不管是 「另存新檔」save as ,还是 检视原始档  ,一些该出现的html都没有出现,例如:
    原网站为:
    聽說內地神人很多,求解curl 抓網頁數據問題~ http://sports.cbsimg.net/images/baseball/mlb/players/60x80/1961062.jpg"border="0"> Pitcher:M. Mariot |  # 48 RP
                                          
                                          GameStats
                                          
    0.1IP
                                          
    0-0, 5.73 ERA, 11.0 IP,9 K's, 6 BB
                                     
                                  
                                     
                                     
    聽說內地神人很多,求解curl 抓網頁數據問題~ "http://sports.cbsimg.net/images/baseball/mlb/players/60x80/no-photo-available.jpg"border="0"> Pitcher:   
                                          
                                          GameStats
                                          
    上面蓝色代表没有显示出来的,
    目前我试过的方式,送cookie!模拟浏览器 ,还是没效,
    不知道各位内地的神人有没有解?请给小弟一个方向吧(跪求)



    本站声明
    本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

    热门文章

    仓库:如何复兴队友
    3 周前 By 尊渡假赌尊渡假赌尊渡假赌
    R.E.P.O.能量晶体解释及其做什么(黄色晶体)
    1 周前 By 尊渡假赌尊渡假赌尊渡假赌
    Hello Kitty Island冒险:如何获得巨型种子
    3 周前 By 尊渡假赌尊渡假赌尊渡假赌

    热门文章

    仓库:如何复兴队友
    3 周前 By 尊渡假赌尊渡假赌尊渡假赌
    R.E.P.O.能量晶体解释及其做什么(黄色晶体)
    1 周前 By 尊渡假赌尊渡假赌尊渡假赌
    Hello Kitty Island冒险:如何获得巨型种子
    3 周前 By 尊渡假赌尊渡假赌尊渡假赌

    热门文章标签

    记事本++7.3.1

    记事本++7.3.1

    好用且免费的代码编辑器

    SublimeText3汉化版

    SublimeText3汉化版

    中文版,非常好用

    禅工作室 13.0.1

    禅工作室 13.0.1

    功能强大的PHP集成开发环境

    Dreamweaver CS6

    Dreamweaver CS6

    视觉化网页开发工具

    SublimeText3 Mac版

    SublimeText3 Mac版

    神级代码编辑软件(SublimeText3)

    11个最佳PHP URL缩短脚本(免费和高级) 11个最佳PHP URL缩短脚本(免费和高级) Mar 03, 2025 am 10:49 AM

    11个最佳PHP URL缩短脚本(免费和高级)

    在Laravel中使用Flash会话数据 在Laravel中使用Flash会话数据 Mar 12, 2025 pm 05:08 PM

    在Laravel中使用Flash会话数据

    构建具有Laravel后端的React应用程序:第2部分,React 构建具有Laravel后端的React应用程序:第2部分,React Mar 04, 2025 am 09:33 AM

    构建具有Laravel后端的React应用程序:第2部分,React

    简化的HTTP响应在Laravel测试中模拟了 简化的HTTP响应在Laravel测试中模拟了 Mar 12, 2025 pm 05:09 PM

    简化的HTTP响应在Laravel测试中模拟了

    php中的卷曲:如何在REST API中使用PHP卷曲扩展 php中的卷曲:如何在REST API中使用PHP卷曲扩展 Mar 14, 2025 am 11:42 AM

    php中的卷曲:如何在REST API中使用PHP卷曲扩展

    在Codecanyon上的12个最佳PHP聊天脚本 在Codecanyon上的12个最佳PHP聊天脚本 Mar 13, 2025 pm 12:08 PM

    在Codecanyon上的12个最佳PHP聊天脚本

    Laravel中的通知 Laravel中的通知 Mar 04, 2025 am 09:22 AM

    Laravel中的通知

    宣布 2025 年 PHP 形势调查 宣布 2025 年 PHP 形势调查 Mar 03, 2025 pm 04:20 PM

    宣布 2025 年 PHP 形势调查

    See all articles