Rumah > pembangunan bahagian belakang > Tutorial Python > Bagaimana untuk Menetapkan Ejen Pengguna Tersuai dalam Python urllib2 untuk Mengikis Web?

Bagaimana untuk Menetapkan Ejen Pengguna Tersuai dalam Python urllib2 untuk Mengikis Web?

Patricia Arquette
Lepaskan: 2024-11-01 08:54:02
asal
573 orang telah melayarinya

How to Set Custom User Agents in Python urllib2 for Web Scraping?

Menetapkan Ejen Pengguna dalam urllib2

Semasa menggunakan urllib2.urlopen untuk mengikis web, ejen pengguna lalai biasanya nama pakej Python. Ini mungkin tidak selalu diingini, kerana tapak web boleh menguatkuasakan sekatan berdasarkan ejen pengguna. Untuk mengubah suai ejen pengguna, seseorang boleh menggunakan pembuka urllib2 tersuai.

Dalam Python 2.x, urllib2.build_opener boleh digunakan untuk mencipta pembuka baharu dengan pengepala tersuai, termasuk ejen pengguna. Coretan kod berikut menunjukkan cara menukar ejen pengguna kepada Mozilla:

opener = urllib2.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
response = opener.open('http://www.stackoverflow.com')
Salin selepas log masuk

Dalam Python 3, bersamaan dengan urllib2.build_opener ialah urllib.request.build_opener. Struktur kod yang sama boleh digunakan untuk menetapkan ejen pengguna tersuai dalam Python 3 juga.

Atas ialah kandungan terperinci Bagaimana untuk Menetapkan Ejen Pengguna Tersuai dalam Python urllib2 untuk Mengikis Web?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

sumber:php.cn
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan