简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Rumah > pembangunan bahagian belakang > tutorial php > teks badan

如何用客户端ip实现分布式爬虫

WBOY
Lepaskan： 2016-08-08 09:06:43
asal
1279 orang telah melayarinya

如果用服务端爬虫会遇到各种问题，如何实现访客打开网页时用访客的ip访问被爬的网站，然后把资料上传，这样可以实现分布式爬虫吗？ajax获取被爬的资料然后传到自己的服务器？

是否已有类似的例子或者开源项目？

回复内容：

如果用服务端爬虫会遇到各种问题，如何实现访客打开网页时用访客的ip访问被爬的网站，然后把资料上传，这样可以实现分布式爬虫吗？ajax获取被爬的资料然后传到自己的服务器？

是否已有类似的例子或者开源项目？

你这是在窃取用户隐私，行不通的~

基本原理是创建一个隐藏的iframe然后请求目标网站，请求成功后使用ajax保存到本地服务器。。因为许多网站都做了反爬虫策略，所以服务端爬虫经常失效，这种情况下使用客户端爬虫很好用。

但是，用户体验不太好吧。。。。

Label berkaitan：
php 分布式 网页爬虫
sumber：php.cn
Artikel sebelumnya：yii2框架中自己创建了一个文件夹，在本地运行没有问题，但是拉上服务器就出现服务器500的错误 Artikel seterusnya：为什么YIi2使用命名空间不用Include也可以使用外部对象？
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Isu terkini
Tatasusunan PHP yang diperoleh daripada parameter URL tidak berkelakuan seperti yang diharapkan Saya mempunyai parameter URL yang mengandungi id kategori dan saya mahu menganggapnya seba...
daripada 2024-04-06 22:09:02
0
1
1428
Di mana saya harus meletakkan arahan CustomLog dalam apache Saya menggunakan php:7.2-apachedocker. Saya perlu melumpuhkan log akses log masuk url sema...
daripada 2024-04-06 22:03:59
0
1
990
Apakah format pembolehubah dalam nilai pulangan? Saya seorang pelajar baru php. Saya menjumpai sekeping kod: if($x<time()){return[false,...
daripada 2024-04-06 21:55:20
0
1
778
Masalah yang dihadapi apabila menggunakan opentbs untuk menjana fail odt: nilai kunci yang sama dipaparkan dalam baris yang sama dan bukannya lajur yang berasingan. Saya menggunakan perpustakaan yang dipanggil OpenTbs untuk mencipta odt menggunakan PHP, s...
daripada 2024-04-06 20:18:18
0
1
483
Kumpulkan hasil MySQL mengikut ID untuk menggelung Saya mempunyai jadual dengan data penerbangan dalam mysql. Saya sedang menulis kod php yan...
daripada 2024-04-06 17:27:56
0
1
406
Topik-topik yang berkaitan
Lagi>
Cadangan popular
Tutorial Popular
Lagi>
Tutorial berkaitan
Cadangan popular
Kursus terkini
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan
Tentang kita Penafian Sitemap
Laman web PHP Cina：Latihan PHP dalam talian kebajikan awam，Bantu pelajar PHP berkembang dengan cepat！