Einführung:
Wenn Sie Python zum Crawlen dynamischer Seiten verwenden, kann die normale URLlib2 beispielsweise nicht wie die Bildlaufleiste neue Inhalte laden heruntergezogen, und urllib2 kann diesen Inhalt nicht crawlen. Zu diesem Zeitpunkt wird der heutige Protagonist Selen benötigt.
Selenium ist ein Tool zum Testen von Webanwendungen. Selenium-Tests laufen direkt im Browser, genau wie bei echten Benutzern. Zu den unterstützten Browsern gehören IE, Mozilla Firefox, Mozilla Suite usw. Es ist auch sehr praktisch, Seiten zu crawlen. Sie müssen nur die Zugriffsschritte befolgen, um einen menschlichen Vorgang zu simulieren. Sie müssen sich nicht um die Verarbeitung von Cookies und Sitzungen kümmern. und klicken Sie dann auf die Anmeldeschaltfläche. Für die Scroll-Leiste oben müssen Sie nur den Browser nach unten scrollen und die Seite speichern. Die oben genannten Funktionen sind beim Umgang mit einigen Anti-Crawler-Mechanismen sehr nützlich. Als Nächstes beginnen wir mit dem Haupttext unserer Erklärung und führen Sie zum Crawlen einer dynamischen Webseite, für die eine Anmeldung erforderlich ist.
Fallimplementierung:
Um Selnium zu verwenden, müssen Sie einen aufrufenden Browser auswählen und den entsprechenden Treiber herunterladen Sie können Chrome usw. auswählen, PhantomJS auf der Serverseite verwenden und die Desktop-Version direkt im Browser aufrufen, um die Änderungen zu beobachten. Daher können wir den Browser im Allgemeinen nach dem Debuggen der Desktop-Version auf PhantomJS ändern Chrome usw. und laden Sie es dann auf den Server hoch, um es auszuführen. Hier verwenden wir PhantomJS direkt zur Demonstration
Importieren Sie zunächst das Modul:
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium import webdriver
Nach dem Login kopieren
Als nächstes initialisieren Sie einen Browser. Sie können einige Attribute der geladenen Webseite in den Parametern angeben:
cap = webdriver.DesiredCapabilities.PHANTOMJS
cap["phantomjs.page.settings.resourceTimeout"] = 180
cap["phantomjs.page.settings.loadImages"] = False
driver = webdriver.PhantomJS(executable_path="/home/gaorong/phantomjs-2.1.1-linux-x86_64/bin/phantomjs", desired_capabilities=cap)
Nach dem Login kopieren
Das Obige initialisiert PhantomJS und legt den Pfad des Browsers fest. Das Ladeattribut ist ausgewählt. Zeitüberschreitung beim Laden der Ressource und kein Laden von Bildern (wir kümmern uns nur um Webseitentext). Sie können hier auch andere Einstellungen vornehmen.
Legen Sie einige Eigenschaften fest und laden Sie eine Webseite herunter
driver.set_page_load_timeout(180)
driver.get('http://www.php.cn/')
time.sleep(5)
driver.save_screenshot('./login.png') #为便于调试，保存网页的截图
Nach dem Login kopieren
Da Fehler bei der Ausführung auf der Serverseite unvermeidlich sind, können Sie mit save_screenshot die aktuelle Webseite speichern, um das Debuggen zu erleichtern.
Der nächste Schritt besteht darin, Ihr Konto und Ihr Passwort einzugeben, um sich anzumelden und die Cookies der Website für spätere Anfragen zu erhalten.
#输入username和password
driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/input[1]").send_keys('*****')
time.sleep(1)
print 'input user success!!!'
driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/input[2]").send_keys('****')
time.sleep(1)
print 'input password success!!!'
driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/button").click()
time.sleep(5)Nach dem Login kopieren
Der obige Code verwendet find_element_by_xpath, um die Position des Eingabefelds zu ermitteln, das Konto und das Passwort einzugeben und auf die Anmeldeschaltfläche zu klicken. Es springt automatisch zur nächsten Seite. Wir müssen nur ein paar Sekunden schlafen und darauf warten.
Die Webseiteninformationen, die wir crawlen müssen, befinden sich in einem bestimmten Element. Daher müssen wir feststellen, ob dieses Element angezeigt wird:
try:
element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.CLASS_NAME, 'pulses'))
)
print 'find element!!!'
except:
print 'not find element!!!'
print traceback.format_exc()
driver.quit()Nach dem Login kopieren
Das Obige bestimmt, ob das Element mit der Klasse „Pulse“ nach 10 Sekunden Wartezeit nicht erscheint, verursacht Selenum einen TimeoutError-Fehler.
Die Grundinitialisierung wurde oben durchgeführt, und dann müssen dynamische Inhalte verarbeitet werden. Auf dieser Webseite werden, wie bei JD.com, automatisch Inhalte mit dem Dropdown-Menü angezeigt Sie müssen die Dropdown-Bildlaufleiste implementieren:
print 'begin scroll to get info page...'
t1 = time.time()
n = 60 #这里可以控制网页滚动距离
for i in range(1,n+1):
s = "window.scrollTo(0,document.body.scrollHeight/{0}*{1});".format(n,i)
#输出滚动位置，网页大小，和时间
print s, len(driver.page_source),time.time()-t1
driver.execute_script(s)
time.sleep(2)Nach dem Login kopieren
wobei drivers.page_source den Text der Webseite abrufen soll. Wenn das Scrollen abgeschlossen ist, können wir es aufrufen und in eine Datei schreiben. Damit ist die Programmlogik abgeschlossen.
Fortgeschritten:
Die Verwendung von Selenim kann mit gängigen Anti-Crawler-Strategien umgehen, da es dem Surfen einer Person im Internet entspricht, für Verifizierungscodes jedoch eine zusätzliche Verarbeitung erforderlich ist . Und ein weiterer Punkt ist, dass die Zugriffsgeschwindigkeit nicht zu hoch sein darf. Wenn sie zu langsam ist, können wir sie bei Bedarf verwenden .
Hier sind zwei Blogs, auf die Sie verweisen können: Python Crawler Tool Five: Selenium Usage and Common Functions
Das obige ist der detaillierte Inhalt vonAusführliche Erklärung zur Verwendung des Python-Crawler-Tools Selenium. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
