连续的分页采集问题
目标站点:http://news.xinhuanet.com/photo/2015-01/29/c_127433852.htm
获取内容:正文图片和文字说明;
本人实现方法:
因为分页地址是连续的,我是在目标地址上做循环
http://news.xinhuanet.com/photo/2015-01/29/c_127433852_2.htm
用get_headers
访问后 获取返回是否为200,是的话进行内容抓取
1、curl获取当前地址html后,截取所需内容
2、_2这个就是变量,自增后继续判断下一页是否可以访问,可以访问就继续采集
以上是可以实现采集抓取的,但是好像速度很慢,而且每次都是curl去抓取对服务器貌似也有压力
问题:如何改进,大家是如何用php做的抓取,求思路和方向
回复内容:
目标站点:http://news.xinhuanet.com/photo/2015-01/29/c_127433852.htm
获取内容:正文图片和文字说明;
本人实现方法:
因为分页地址是连续的,我是在目标地址上做循环
http://news.xinhuanet.com/photo/2015-01/29/c_127433852_2.htm
用get_headers
访问后 获取返回是否为200,是的话进行内容抓取
1、curl获取当前地址html后,截取所需内容
2、_2这个就是变量,自增后继续判断下一页是否可以访问,可以访问就继续采集
以上是可以实现采集抓取的,但是好像速度很慢,而且每次都是curl去抓取对服务器貌似也有压力
问题:如何改进,大家是如何用php做的抓取,求思路和方向
下面不是有分页么,直接获取<div id="div_currpage"></div>
里面的链接存到数组抓吧
- 直接抓取,抓取返回结果的时候就先判断状态码是否为200
- Curl并发

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



PHP 8.4 membawa beberapa ciri baharu, peningkatan keselamatan dan peningkatan prestasi dengan jumlah penamatan dan penyingkiran ciri yang sihat. Panduan ini menerangkan cara memasang PHP 8.4 atau naik taraf kepada PHP 8.4 pada Ubuntu, Debian, atau terbitan mereka

Untuk bekerja dengan tarikh dan masa dalam cakephp4, kami akan menggunakan kelas FrozenTime yang tersedia.

CakePHP ialah rangka kerja sumber terbuka untuk PHP. Ia bertujuan untuk menjadikan pembangunan, penggunaan dan penyelenggaraan aplikasi lebih mudah. CakePHP adalah berdasarkan seni bina seperti MVC yang berkuasa dan mudah difahami. Model, Pandangan dan Pengawal gu

Untuk mengusahakan muat naik fail, kami akan menggunakan pembantu borang. Di sini, adalah contoh untuk muat naik fail.

Pengesah boleh dibuat dengan menambah dua baris berikut dalam pengawal.

Kod Visual Studio, juga dikenali sebagai Kod VS, ialah editor kod sumber percuma — atau persekitaran pembangunan bersepadu (IDE) — tersedia untuk semua sistem pengendalian utama. Dengan koleksi sambungan yang besar untuk banyak bahasa pengaturcaraan, Kod VS boleh menjadi c

CakePHP ialah rangka kerja MVC sumber terbuka. Ia menjadikan pembangunan, penggunaan dan penyelenggaraan aplikasi lebih mudah. CakePHP mempunyai beberapa perpustakaan untuk mengurangkan beban tugas yang paling biasa.

Tutorial ini menunjukkan cara memproses dokumen XML dengan cekap menggunakan PHP. XML (bahasa markup extensible) adalah bahasa markup berasaskan teks yang serba boleh yang direka untuk pembacaan manusia dan parsing mesin. Ia biasanya digunakan untuk penyimpanan data
