curl爬取网页是数据

Question

如果url链接给的是https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_4480296238548479181%22%7D&n_type=0&p_from=1

的链接怎么爬取网页信息

Answer 1

用curl来爬取网站注意https

Answer 2

是的，1楼的说的很完整，获取页面信息通常用的也就这两种方法，file_get_contents和通过curl请求

Answer 3

可以用file_get_contents    或者是curl 代码：

function getHTTPS($url) {
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
  curl_setopt($ch, CURLOPT_HEADER, false);
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_REFERER, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
  $result = curl_exec($ch);
  curl_close($ch);
  return $result;
}