如何使用 Python 提取动态 HTML 内容值？

如何使用 Python 从动态 HTML 内容中提取值

从网站检索数据时，遇到动态内容是很常见的。通过使用 Python 的标准库（例如 requests），您可能无法访问这些在运行时加载的值。

处理动态内容的解决方案

到克服这一挑战，请考虑以下解决方案：

• 直接解析 Ajax JSON： 访问网站用于加载动态内容并提取所需值的 JSON 对象。
• 使用离线 JavaScript 解释器：使用像 SpiderMonkey 这样的解释器来执行 JavaScript 代码并在 Python 应用程序中渲染 HTML。
• 浏览器自动化工具： 使用 Selenium 或 Watir 等工具来模拟浏览器操作并访问渲染的 HTML。

Selenium 用于值提取

Selenium 提供了一种全面的处理方法动态内容。使用方法如下：

1. 安装和配置 Selenium： 确保 Selenium 及其依赖项已安装在您的 Python 环境中。
2. 实例化一个 Web driver: 使用 webdriver 类创建 Web 驱动程序，例如 Firefox 或 Chrome。
3. 加载 URL： 使用 get() 方法导航到所需的网站。
4. 提取 HTML： 使用 page_source 属性检索页面渲染的 HTML。
5. 使用 BeautifulSoup 解析：使用 BeautifulSoup 解析 HTML 并提取所需的元素。

Handlebars 驱动网站的示例

考虑一个使用 Handlebars 模板的网站。要提取“中值”值：

<code class="python">from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Firefox()
driver.get('http://eve-central.com/home/quicklook.html?typeid=34')

html = driver.page_source
soup = BeautifulSoup(html)

for tag in soup.find_all("div", class_="priceContainer"):
    print tag.text</code>

此示例演示如何使用 Selenium 访问渲染的 HTML 并使用 BeautifulSoup 解析它。

以上是如何使用 Python 提取动态 HTML 内容值？的详细内容。更多信息请关注PHP中文网其他相关文章！