简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Rumah > pembangunan bahagian belakang > Tutorial Python > teks badan

Bagaimana untuk Menetapkan Ejen Pengguna Tersuai dalam Python urllib2 untuk Mengikis Web?

Patricia Arquette
Lepaskan： 2024-11-01 08:54:02
asal
451 orang telah melayarinya

How to Set Custom User Agents in Python urllib2 for Web Scraping?

Menetapkan Ejen Pengguna dalam urllib2

Semasa menggunakan urllib2.urlopen untuk mengikis web, ejen pengguna lalai biasanya nama pakej Python. Ini mungkin tidak selalu diingini, kerana tapak web boleh menguatkuasakan sekatan berdasarkan ejen pengguna. Untuk mengubah suai ejen pengguna, seseorang boleh menggunakan pembuka urllib2 tersuai.

Dalam Python 2.x, urllib2.build_opener boleh digunakan untuk mencipta pembuka baharu dengan pengepala tersuai, termasuk ejen pengguna. Coretan kod berikut menunjukkan cara menukar ejen pengguna kepada Mozilla:

opener = urllib2.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
response = opener.open('http://www.stackoverflow.com')
Salin selepas log masuk

Dalam Python 3, bersamaan dengan urllib2.build_opener ialah urllib.request.build_opener. Struktur kod yang sama boleh digunakan untuk menetapkan ejen pengguna tersuai dalam Python 3 juga.

Atas ialah kandungan terperinci Bagaimana untuk Menetapkan Ejen Pengguna Tersuai dalam Python urllib2 untuk Mengikis Web?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

sumber：php.cn
Artikel sebelumnya：Bagaimana untuk Mengesahkan Pengisihan Senarai dengan Cekap dalam Python? Artikel seterusnya：Cara Mengendalikan Teks Unikod dalam Fail Teks: Panduan Lengkap untuk Penulisan Tanpa Ralat
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Isu terkini
function_exists() tidak boleh menentukan fungsi tersuai Ujian fungsi () {return true;} jika (function_exists ('test')) {echo "test is functio...
daripada 2024-04-29 11:01:01
0
2
1732
Bagaimana untuk memaparkan versi mudah alih Google Chrome Hello cikgu, bagaimana saya boleh menukar Google Chrome kepada versi mudah alih?
daripada 2024-04-23 00:22:19
0
10
1887
Tetingkap anak mengendalikan tetingkap induk, tetapi output tidak bertindak balas. Dua ayat pertama boleh dilaksanakan, tetapi ayat terakhir tidak boleh dilaksanakan.
daripada 2024-04-19 15:37:47
0
1
1600
Tiada output dalam tetingkap induk document.onclick = function(){ window.opener.document.write('Saya adalah output tetingkap ...
daripada 2024-04-18 23:52:34
0
1
1511
Di manakah perisian kursus tentang pemetaan minda CSS? Perisian kursus
daripada 2024-04-16 10:10:18
0
0
1548
Topik-topik yang berkaitan
Lagi>
Cadangan popular
Tutorial Popular
Lagi>
Tutorial berkaitan
Cadangan popular
Kursus terkini
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan
Tentang kita Penafian Sitemap
Laman web PHP Cina：Latihan PHP dalam talian kebajikan awam，Bantu pelajar PHP berkembang dengan cepat！