Bagaimanakah Saya Boleh Menghalang Pemacu Web Selenium daripada Dikesan oleh Laman Web?

Selenium Webdriver: Mencegah Pengesanan dengan Mengubah suai navigator.webdriver Flag

Pengenalan

Selenium, rangka kerja automasi web yang popular, menghadapi cabaran apabila tapak web melaksanakan mekanisme pengesanan yang menandakan penyemak imbas dipacu Selenium. Artikel ini bertujuan untuk menangani isu pengesanan sedemikian dengan menyediakan kaedah yang berkesan untuk mengubah suai bendera navigator.webdriver, dengan itu menghalang pengesanan Selenium.

Pendekatan

1. Tambah Chrome Hujah:

   • --disable-blink-features=AutomationControlled melumpuhkan ciri pengesanan automasi.

   options = webdriver.ChromeOptions()
   options.add_argument('--disable-blink-features=AutomationControlled')
   driver = webdriver.Chrome(options=options)

2. Melaksanakan CDP Perintah:

   • execute_cdp_cmd membenarkan manipulasi langsung Protokol Chrome DevTools (CDP) penyemak imbas.
   • Ubah suai ejen pengguna untuk meniru pengguna sebenar lagi tingkah laku.

   driver.execute_cdp_cmd('Network.setUserAgentOverride', {'userAgent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.53 Safari/537.36'})

3. Ubah suai navigator.webdriver Harta:

   • Tukar nilai hartanah navigator.webdriver kepada undefined.

   driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

4. Kecualikan Suis Automasi:

   • Tambah excludeSwitches untuk menghalang pengumpulan berkaitan automasi suis.

   options.add_experimental_option("excludeSwitches", ["enable-automation"])

5. Lumpuhkan Automasi Sambungan:

   • Matikan pilihan useAutomationExtension untuk mengurangkan lagi pengesanan.

   options.add_experimental_option('useAutomationExtension', False)

Kod Contoh

Menggabungkan kaedah di atas menjadi satu blok kod tunggal:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--disable-blink-features=AutomationControlled')
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=options)
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")
driver.execute_cdp_cmd('Network.setUserAgentOverride', {'userAgent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.53 Safari/537.36'})
driver.get('https://www.website.com/')

Konteks Sejarah

Bendera navigator.webdriver ditakrifkan oleh W3C sebagai cara untuk menunjukkan bahawa ejen pengguna adalah di bawah kawalan jauh.

Awas

Mengubah parameter ini mungkin mengganggu navigasi penyemak imbas dan menjadikan contoh WebDriver dapat dikesan.

Kemas kini

• Selenium Python pelanggan kini menyokong execute_cdp_cmd kaedah.
• Parameter tambahan telah ditambah untuk meningkatkan lagi pencegahan pengesanan.

Kesimpulan

Dengan mengikuti kaedah ini, anda boleh mengubah suai bendera navigator.webdriver dan menghalang tapak web daripada mengesan pelayar dipacu Selenium anda. Walau bagaimanapun, adalah penting untuk mengendalikan perubahan ini dengan berhati-hati untuk mengelakkan pengesanan.

Atas ialah kandungan terperinci Bagaimanakah Saya Boleh Menghalang Pemacu Web Selenium daripada Dikesan oleh Laman Web?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!