Manche Leute sagen, dass die Selenium-Bibliothek und PhantomJ ein vielseitiges Werkzeug sind, wenn sie zusammen verwendet werden. Sind sie also wirklich so mächtig? Werfen wir einen Blick auf die Verwendung der Selenium-Bibliothek. Lassen Sie uns in diesem Artikel einen Blick auf die Funktionsweise der Selenium-Bibliothek in Kombination mit PhantomJs, Chrome und anderen Browsern werfen.
Was ist Selenium?
Selenium ist ein automatisiertes Testtool, das einige Browser unterstützt, darunter Chrome, Firefox, Safari, PhantomJs usw. Bei Verwendung in Crawlern verwenden wir es hauptsächlich zur Lösung einiger JavaScript-Rendering-Probleme.
Wenn wir die Requests-Bibliothek verwenden, um einige Webseiten wie 163music anzufordern, entsprechen die Antwortdaten, die wir erhalten, nicht allen Informationen, die wir im Browser sehen. Er kann durch js gerendert werden. Wenn wir dann die Selenium-Bibliothek verwenden, ist uns die Lösung dieses Problems egal.
Weil unser Browser, wie z. B. PhantomJs, ein schnittstellenloser Browser ist. Er wird zum Rendern und Parsen von js verwendet, und die Selenium-Bibliothek ist dafür verantwortlich, einige Befehle an den Browser zu senden und einige wie Dropdown- und Drop-Down-Befehle zu simulieren Ziehen, Umblättern, Formulareingabe und andere Aktionen. Auf diese Weise kann die Kombination der beiden diese JS-Rendering-Probleme perfekt lösen.
Hinweis
Obwohl die Selenium-Bibliothek plus PhantomJs sehr nützlich ist, steuert sie schließlich einen Browser und ruft dann Daten ab. Wenn wir es verwenden, werden wir feststellen, dass es nicht so schnell ist wie einige von uns verwendete Analysebibliotheken. Das ist eigentlich ihr Nachteil, daher rate ich Ihnen trotzdem, sie nicht zu verwenden, bis Sie wirklich keine Lösung finden.
Installationsvorbereitung
pip installiert direkt die Selenium-Bibliothek:
pip install selenium
Browsertreiberinstallation:
Chrome-Browsertreiber
PhantomJs-Browsertreiber
Wir müssen den installierten Browsertreiber für unsere Umgebungsvariablen konfigurieren. Für Windows-Benutzer ist die Konfiguration von Umgebungsvariablen problematischer. Wir müssen den Speicherort des heruntergeladenen Treibers finden, dann seinen Dateispeicherort kopieren und ihn in die Umgebungsvariable einfügen.
Konfiguration ist abgeschlossen, Befehlszeileneingabe:
phantomjs -v
Überprüfen Sie, ob es erfolgreich ist.
Verwendungsbeispiel
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
browser = webdriver.Chrome()
try:
browser.get('http://www.yukunweb.com')
input = browser.find_element_by_id('s')
input.send_keys('Python')
input.send_keys(Keys.ENTER)
wait = WebDriverWait(browser, 10)
wait.until(EC.presence_of_element_located((By.ID, 'main')))
print(browser.current_url)
print(browser.page_source)
finally:
browser.close()
Wenn wir den obigen Code ausführen, sehen wir, dass ein Chrome-Browser lokal geöffnet ist, und dann gebe ich meine Blog-URL ein, dann wird er es tun Geben Sie automatisch „Python“ in die Suchleiste ein und klicken Sie zur Suche auf die Eingabetaste. Und drucken Sie die URL und den Quellcode der Ergebnisseite aus.
Unsere Beispiele werden alle mit dem Chrome-Browser bedient, da PhantomJs keine Schnittstelle hat und es unpraktisch ist, den Effekt zu sehen. Wenn Sie es falsch ausführen, ist der Browser normalerweise nicht geöffnet, dann liegt es wahrscheinlich daran, dass Sie den Chrome-Browser nicht installiert haben oder den Treiber nicht mit Umgebungsvariablen konfiguriert haben.
Was bedeuten diese Codezeilen und welche Anweisungen geben wir ihnen?
Deklarieren Sie das Browserobjekt
from selenium import webdriver browser = webdriver.Chrome() # 声明其他浏览器 browser = webdriver.PhantomJs() browser = webdriver.Firefox()
Dies entspricht unserem Aufruf der Webdriver-Methode der Selenium-Bibliothek, um einen Chrome-Browser für uns zu instanziieren .
Besuchen Sie die Seite
from selenium import webdriver browser = webdriver.Chrome() browser.get('http://www.yukunweb.com')
Wir übergeben die URL, die wir besuchen möchten, an die get-Methode. Rufen Sie den Browser auf, um auf die URL zuzugreifen.
Element suchen
input = browser.find_element_by_id('s')
Dieser Code ruft die Methode find_element_by_id auf, um das Tag mit den IDs zu finden. , wenn es sich um eine Operation handelt. Wenn die Klasse „s“ ist, ist sie find_element_by_class('s').
Natürlich können wir auch CSS-Selektoren und XPath-Selektoren verwenden, um Elemente zu finden:
input = browser.find_element_by_css_selector("#s")
print(input)
input = browser.find_element_by_xpath('//*[@id="s"]')
print(input)Durch Drucken der Ergebnisse können Sie sehen, dass die Suchergebnisse unabhängig vom verwendeten Selektor sind Dasselbe. Hier sind einige Such-APIs:
find_element_by_namefind_element_by_xpathfind_element_by_link_textfind_element_by_partial_link_textfind_element_by_tag_namefind_element_by_class_namefind_element_by_css_selector
Mehrere Elemente finden
Wenn das gesuchte Element das li-Tag auf der Webseite ist, gibt es viele Elemente. Dann ist unsere Suchmethode dieselbe wie für ein einzelnes Element, mit der Ausnahme, dass wir für die Such-API nach dem Element eine Pluralform s hinzufügen müssen. Das heißt:
find_elements_by_namefind_elements_by_xpathfind_elements_by_link_textfind_elements_by_partial_link_textfind_elements_by_tag_namefind_elements_by_class_namefind_elements_by_css_selector
Interaktive Elementoperation
besteht darin, Anweisungen zu erteilen und interaktive Methoden für die Elemente aufzurufen, die wir erhalten.
browser.get('http://www.yukunweb.com')
input = browser.find_element_by_id('s')
input.send_keys('Python')
input.send_keys(Keys.ENTER)
In diesem Code suchen wir zuerst das Element mit der ID „s“, übergeben ihm dann den „Python“-Wert, rufen dann die interaktive Methode auf und geben return ein Auto.
Natürlich können wir in den meisten Fällen die Eingabetaste nicht direkt verwenden, da wir nicht sicher sind, ob das Formular nach der Eingabetaste gesendet wurde. Wir müssen den Finder verwenden, um das Element der Schaltfläche „Senden“ zu finden, und dann das Klicken simulieren:
button = browser.find_element_by_class_name('xxxx') button.click() # 清除表单信息 button.clear()
Dann können wir sehen, dass wir bei der Simulation der Anmeldung direkt die Kontonummer und das Passwort eingeben können manuell Wenn es einen Bestätigungscode gibt, geben Sie direkt eine Eingabemethode ein. Wir geben den Bestätigungscode manuell ein und übergeben ihn an das Formular. Ist es sehr einfach, die Anmeldung zu simulieren?
Interaktive Aktionen
元素交互动作与上面的操作是不同的。上面的操作需要获得一个特定的元素。然后对这个特定的元素调用一些指令，才可以完成交互。而这个交互是将这些动作附加到动作链中串行执行。
我们以拖拽元素为例(我们需要导入ACtionChains方法)：
from selenium import webdriver
from selenium.webdriver import ActionChains
browser = webdriver.Chrome()
browser.get(url)
source = browser.find_element_by_name("source")
target = browser.find_element_by_name("target")
actions = ActionChains(browser)
actions.drag_and_drop(source, target).perform()
这里的sourcs是我们要拖拽的元素，我们使用查找器找到他，target就是我们要拖拽到的位置元素。然后调用ActionChains方法，实现拖拽操作。
执行JavaScript
有些动作呢，Selenium库并没有为我们提供特定的api，比如说将浏览器进度条下拉，这个实现起来是很难的。那么我们就可以通过让Selenium执行JS来实现进度条的下拉，这个得需要一些js的知识，不过还是很简单的。
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('http://www.yukunweb.com')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("到达底部")')
这就相当于我们将一些JS命令传给Selenium的execute_script这个api，我们运行就可以看到浏览器下拉到底部，然后弹出会话框。
获取元素文本值
如果我们查找得到一个元素，我们要怎样获得元素的一些属性和文本信息呢？
from selenium import webdriver browser = webdriver.Chrome() browser.get('http://www.yukunweb.com') name = browser.find_element_by_css_selector('#kratos-logo > a') print(name.text) print(name.get_attribute('href'))
运行结果可以看到，他打印出了‘意外’和他的url。
Frame框架
有些网页在我们直接使用Selenium驱动浏览器打印源码的时候，并没有如期获得想要的数据，那在我们查看网页源码的时候，可以看到网页的iframe标签包裹的一个一个的框架。那么这就需要我们请求对应框架，拿到源码了。
我们以网易云音乐的歌手栏为例。
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://music.163.com/#/discover/artist/signed/') print(browser.page_source)
可以查看结果，并没有我们想要的信息。
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://music.163.com/#/discover/artist/signed/') browser.switch_to.frame('contentFrame') print(browser.page_source)
这次打印，我们就可以看到我们需要的信息了，是不是很简单。
显示等待
在文章开始的时候，我们运行的那段代码中有一段代码是不是还没有说。那就是我们命令浏览器等待的操作。
等待有两种方式，一种是隐士等待，一种是显示等待。当使用了隐士等待执行时，如果浏览器没有找到指定元素，将继续等待，如果超出设定时间就会抛出找不到元素的异常。而大多数情况我们建议使用显示等待。
显示等待是你指定一个等待的条件，还指定一个最长等待时间。那么程序会在最长等待时间内，判断条件是否成立，如果成立，立即返回。如果不成立，他会一直等待，直到最长等待时间结束，如果条件仍然不满足，就返回异常。
wait = WebDriverWait(browser, 10) wait.until(EC.presence_of_element_located((By.ID, 'main')))
这里的By.ID方法实际上就是一个查找的万能方法，而我们直接查找或者使用CSS、xpath查找足够满足，我也不过多介绍，想要了解可以查看官方文档。
这里是知道查找到id为‘main’就返回。
显示等待的一些条件还有：
title_is 标题是某内容
title_contains 标题包含某内容
presence_of_element_located 元素加载出，传入定位元组，如(By.ID, ‘p’)
visibility_of_element_located 元素可见，传入定位元组
visibility_of_element_located 元素可见，传入定位元组
visibility_of_element_located 元素可见，传入定位元组
visibility_of 可见，传入元素对象
presence_of_all_elements_located 所有元素加载出
text_to_be_present_in_element 某个元素文本包含某文字
text_to_be_present_in_element_value 某个元素值包含某文字
frame_to_be_available_and_switch_to_it frame加载并切换
invisibility_of_element_located 元素不可见
element_to_be_clickable 元素可点击
staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新
element_to_be_selected 元素可选择，传元素对象
element_located_to_be_selected 元素可选择，传入定位元组
element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False
element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回False
alert_is_present 是否出现Alert
窗口选择
如果我们在表单输入关键词，提交表单后浏览器新打开了一个窗口，那么我们要怎么去操作新的窗口呢？索性Selenium为我们提供了对应的api.
import time from selenium import webdriver from selenium.webdriver.common.keys import Keys browser = webdriver.Chrome() browser.get('http://www.23us.cc/') input = browser.find_element_by_id('bdcs-search-form-input') input.send_keys('斗破苍穹') input.send_keys(Keys.ENTER) browser.switch_to_window(browser.window_handles[1]) print(browser.current_url) time.sleep(1) browser.switch_to_window(browser.window_handles[0]) print(browser.current_url)
通过打印结果，不难看出先打印了搜索结果窗口url，然后打印了索引页url。要注意窗口的索引是从 0 开始的哦，这个大家都明白。
异常处理
异常处理和普通的异常处理一样，没有什么要说的，大家自己查看官方异常 api.地址
最后
Okay, ich hoffe, dass Sie durch diesen Artikel im Grunde einige Möglichkeiten verstehen, wie Sie die Selenium-Bibliothek in Kombination mit Browsertreibern verwenden können. Wir verwenden in unserem Beispiel Chrome, aber im tatsächlichen Code ist es am besten, PhantomJs zu verwenden, da es keine Schnittstelle hat und relativ besser läuft.
Ich habe am Anfang des Artikels gesagt, dass die Verwendung von Selen generell nicht zu empfehlen ist, da es sehr langsam ist. Aber selbst wenn es langsam ist, ist es immer noch sehr cool, nicht wahr?
Das obige ist der detaillierte Inhalt vonSelenium+PhantomJs analysiert und rendert grundlegende Operationen von Js. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
