目录
'.$capture_url . "共找到 " . $photo_num . " 张图片
首页 后端开发 php教程 php远程抓取网站图片并保存的代码

php远程抓取网站图片并保存的代码

Jul 25, 2016 am 09:12 AM

例子,php抓取网站数据的代码。

  1. /**
  2. * 一个用于抓取图片的类
  3. *
  4. * @package default
  5. * @author WuJunwei
  6. */
  7. class download_image
  8. {
  9. public $save_path; //抓取图片的保存地址
  10. //抓取图片的大小限制(单位:字节) 只抓比size比这个限制大的图片
  11. public $img_size=0;
  12. //定义一个静态数组,用于记录曾经抓取过的的超链接地址,避免重复抓取
  13. public static $a_url_arr=array();
  14. /**
  15. * @param String $save_path 抓取图片的保存地址
  16. * @param Int $img_size 抓取图片的保存地址
  17. */
  18. public function __construct($save_path,$img_size)
  19. {
  20. $this->save_path=$save_path;
  21. $this->img_size=$img_size;
  22. }
  23. /**
  24. * 递归下载抓取首页及其子页面图片的方法 ( recursive 递归)
  25. *
  26. * @param String $capture_url 用于抓取图片的网址
  27. *
  28. */
  29. public function recursive_download_images($capture_url)
  30. {
  31. if (!in_array($capture_url,self::$a_url_arr)) //没抓取过
  32. {
  33. self::$a_url_arr[]=$capture_url; //计入静态数组
  34. } else //抓取过,直接退出函数
  35. {
  36. return;
  37. }
  38. $this->download_current_page_images($capture_url); //下载当前页面的所有图片
  39. //用@屏蔽掉因为抓取地址无法读取导致的warning错误
  40. $content=@file_get_contents($capture_url);
  41. //匹配a标签href属性中?之前部分的正则
  42. $a_pattern = "|]+href=['\" ]?([^ '\"?]+)['\" >]|U";
  43. preg_match_all($a_pattern, $content, $a_out, PREG_SET_ORDER);
  44. $tmp_arr=array(); //定义一个数组,用于存放当前循环下抓取图片的超链接地址
  45. foreach ($a_out as $k => $v)
  46. {
  47. /**
  48. * 去除超链接中的 空'','#','/'和重复值
  49. * 1: 超链接地址的值 不能等于当前抓取页面的url, 否则会陷入死循环
  50. * 2: 超链接为''或'#','/'也是本页面,这样也会陷入死循环,
  51. * 3: 有时一个超连接地址在一个网页中会重复出现多次,如果不去除,会对一个子页面进行重复下载)
  52. */
  53. if ( $v[1] && !in_array($v[1],self::$a_url_arr) &&!in_array($v[1],array('#','/',$capture_url) ) )
  54. {
  55. $tmp_arr[]=$v[1];
  56. }
  57. }
  58. foreach ($tmp_arr as $k => $v)
  59. {
  60. //超链接路径地址
  61. if ( strpos($v, 'http://')!==false ) //如果url包含http://,可以直接访问
  62. {
  63. $a_url = $v;
  64. }else //否则证明是相对地址, 需要重新拼凑超链接的访问地址
  65. {
  66. $domain_url = substr($capture_url, 0,strpos($capture_url, '/',8)+1);
  67. $a_url=$domain_url.$v;
  68. }
  69. $this->recursive_download_images($a_url);
  70. }
  71. }
  72. /**
  73. * 下载当前网页下的所有图片
  74. *
  75. * @param String $capture_url 用于抓取图片的网页地址
  76. * @return Array 当前网页上所有图片img标签url地址的一个数组
  77. */
  78. public function download_current_page_images($capture_url)
  79. {
  80. $content=@file_get_contents($capture_url); //屏蔽warning错误
  81. //匹配img标签src属性中?之前部分的正则
  82. $img_pattern = "|php远程抓取网站图片并保存的代码 ]+src=['\" ]?([^ '\"?]+)['\" >]|U";
  83. preg_match_all($img_pattern, $content, $img_out, PREG_SET_ORDER);
  84. $photo_num = count($img_out);
  85. //匹配到的图片数量
  86. echo '

    '.$capture_url . "共找到 " . $photo_num . " 张图片

    ";
  87. foreach ($img_out as $k => $v)
  88. {
  89. $this->save_one_img($capture_url,$v[1]);
  90. }
  91. }
  92. /**
  93. * 保存单个图片的方法
  94. *
  95. * @param String $capture_url 用于抓取图片的网页地址
  96. * @param String $img_url 需要保存的图片的url
  97. *
  98. */
  99. public function save_one_img($capture_url,$img_url)
  100. {
  101. //图片路径地址
  102. if ( strpos($img_url, 'http://')!==false )
  103. {
  104. // $img_url = $img_url;
  105. }else
  106. {
  107. $domain_url = substr($capture_url, 0,strpos($capture_url, '/',8)+1);
  108. $img_url=$domain_url.$img_url;
  109. }
  110. $pathinfo = pathinfo($img_url); //获取图片路径信息
  111. $pic_name=$pathinfo['basename']; //获取图片的名字
  112. if (file_exists($this->save_path.$pic_name)) //如果图片存在,证明已经被抓取过,退出函数
  113. {
  114. echo $img_url . '该图片已经抓取过!
    ';
  115. return;
  116. }
  117. //将图片内容读入一个字符串
  118. $img_data = @file_get_contents($img_url); //屏蔽掉因为图片地址无法读取导致的warning错误
  119. if ( strlen($img_data) > $this->img_size ) //下载size比限制大的图片
  120. {
  121. $img_size = file_put_contents($this->save_path . $pic_name, $img_data);
  122. if ($img_size)
  123. {
  124. echo $img_url . '图片保存成功!
    ';
  125. } else
  126. {
  127. echo $img_url . '图片保存失败!
    ';
  128. }
  129. } else
  130. {
  131. echo $img_url . '图片读取失败!
    ';
  132. }
  133. }
  134. } // END
  135. set_time_limit(120); //设置脚本的最大执行时间 根据情况设置
  136. $download_img=new download_image('E:/images/',0); //实例化下载图片对象
  137. $download_img->recursive_download_images('http://bbs.it-home.org/'); //递归抓取图片方法
  138. //$download_img->download_current_page_images($_POST['capture_url']); //只抓取当前页面图片方法
  139. ?>
复制代码


本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

在PHP API中说明JSON Web令牌(JWT)及其用例。 在PHP API中说明JSON Web令牌(JWT)及其用例。 Apr 05, 2025 am 12:04 AM

JWT是一种基于JSON的开放标准,用于在各方之间安全地传输信息,主要用于身份验证和信息交换。1.JWT由Header、Payload和Signature三部分组成。2.JWT的工作原理包括生成JWT、验证JWT和解析Payload三个步骤。3.在PHP中使用JWT进行身份验证时,可以生成和验证JWT,并在高级用法中包含用户角色和权限信息。4.常见错误包括签名验证失败、令牌过期和Payload过大,调试技巧包括使用调试工具和日志记录。5.性能优化和最佳实践包括使用合适的签名算法、合理设置有效期、

会话如何劫持工作,如何在PHP中减轻它? 会话如何劫持工作,如何在PHP中减轻它? Apr 06, 2025 am 12:02 AM

会话劫持可以通过以下步骤实现:1.获取会话ID,2.使用会话ID,3.保持会话活跃。在PHP中防范会话劫持的方法包括:1.使用session_regenerate_id()函数重新生成会话ID,2.通过数据库存储会话数据,3.确保所有会话数据通过HTTPS传输。

描述扎实的原则及其如何应用于PHP的开发。 描述扎实的原则及其如何应用于PHP的开发。 Apr 03, 2025 am 12:04 AM

SOLID原则在PHP开发中的应用包括:1.单一职责原则(SRP):每个类只负责一个功能。2.开闭原则(OCP):通过扩展而非修改实现变化。3.里氏替换原则(LSP):子类可替换基类而不影响程序正确性。4.接口隔离原则(ISP):使用细粒度接口避免依赖不使用的方法。5.依赖倒置原则(DIP):高低层次模块都依赖于抽象,通过依赖注入实现。

在PHPStorm中如何进行CLI模式的调试? 在PHPStorm中如何进行CLI模式的调试? Apr 01, 2025 pm 02:57 PM

在PHPStorm中如何进行CLI模式的调试?在使用PHPStorm进行开发时,有时我们需要在命令行界面(CLI)模式下调试PHP�...

如何在系统重启后自动设置unixsocket的权限? 如何在系统重启后自动设置unixsocket的权限? Mar 31, 2025 pm 11:54 PM

如何在系统重启后自动设置unixsocket的权限每次系统重启后,我们都需要执行以下命令来修改unixsocket的权限:sudo...

解释PHP中的晚期静态绑定(静态::)。 解释PHP中的晚期静态绑定(静态::)。 Apr 03, 2025 am 12:04 AM

静态绑定(static::)在PHP中实现晚期静态绑定(LSB),允许在静态上下文中引用调用类而非定义类。1)解析过程在运行时进行,2)在继承关系中向上查找调用类,3)可能带来性能开销。

如何用PHP的cURL库发送包含JSON数据的POST请求? 如何用PHP的cURL库发送包含JSON数据的POST请求? Apr 01, 2025 pm 03:12 PM

使用PHP的cURL库发送JSON数据在PHP开发中,经常需要与外部API进行交互,其中一种常见的方式是使用cURL库发送POST�...

See all articles