웹사이트 변경 사항을 모니터링하기 위한 Python 스크립트-파이썬 튜토리얼-php.cn

웹사이트 변경 사항을 모니터링하기 위한 Python 스크립트

오늘날의 디지털 시대에 웹 사이트의 최신 변경 사항을 아는 것은 경쟁사 웹 사이트의 업데이트 추적, 제품 가용성 모니터링, 중요한 정보에 대한 최신 정보 유지 등 다양한 목적을 위해 매우 중요합니다. 웹사이트의 변경 사항을 수동으로 확인하는 것은 시간이 많이 걸리고 비효율적일 수 있습니다. 자동화가 작동하는 곳입니다.

이 블로그 게시물에서는 웹사이트 변경 사항을 모니터링하기 위해 Python 스크립트를 만드는 방법을 살펴보겠습니다. Python의 강력한 기능과 일부 편리한 라이브러리를 활용하여 웹사이트 콘텐츠 검색, 이전 버전과 비교, 변경 사항 알림 프로세스를 자동화할 수 있습니다. 이를 통해 우리는 모니터링하는 사이트의 업데이트나 수정 사항에 대해 능동적으로 대처하고 신속하게 대응할 수 있습니다.

환경 설정

웹사이트 변경 사항을 모니터링하기 위한 스크립트 작성을 시작하기 전에 Python 환경을 설정하고 필요한 라이브러리를 설치해야 합니다. 시작하려면 다음 단계를 따르세요 -

Python 설치 − Python을 아직 설치하지 않았다면 시스템에 다운로드하여 설치하세요. Python 공식 웹사이트(https://www.python.org/)를 방문하여 사용 중인 운영 체제에 맞는 최신 버전을 다운로드할 수 있습니다. 설치 중에 시스템 경로에 Python을 추가하는 옵션을 선택하십시오.
새 Python 가상 환경 만들기(선택 사항) − 종속성을 격리하려면 이 프로젝트에 대한 가상 환경을 만드는 것이 좋습니다. 터미널 또는 명령 프롬프트를 열고 원하는 프로젝트 디렉터리로 이동한 후 다음 명령을 실행합니다.

으아아아

이렇게 하면 프로젝트 디렉토리에 "website-monitor-env"라는 새로운 가상 환경이 생성됩니다.

가상 환경 활성화 − 운영 체제에 따라 적절한 명령을 실행하여 가상 환경을 활성화합니다:

Windows의 경우 −

으아아아

macOS/Linux의 경우 −

으아아아

명령 프롬프트나 터미널에 가상 환경 이름이 표시되어 가상 환경에서 작업하고 있음을 나타냅니다.

필수 라이브러리 설치 − 가상 환경을 활성화한 후 필요한 라이브러리를 설치해 보겠습니다. 터미널 또는 명령 프롬프트에서 다음 명령을 실행합니다:

으아아아

"요청" 라이브러리는 웹사이트 콘텐츠를 검색하는 데 도움이 되고 "beautifulsoup4"는 HTML 구문 분석에 도움이 됩니다.

Python 환경을 설정하고 필요한 라이브러리를 설치한 후 웹사이트 변경 모니터링 스크립트 구축을 시작할 수 있습니다. 다음 섹션에서는 "요청" 라이브러리를 사용하여 웹사이트 콘텐츠를 검색하는 과정을 다루겠습니다.

웹사이트 콘텐츠 검색

웹사이트 변경 사항을 모니터링하려면 웹사이트의 현재 콘텐츠를 검색하여 이전에 저장한 버전과 비교해야 합니다. 이 섹션에서는 "요청" 라이브러리를 사용하여 웹사이트 콘텐츠를 가져옵니다. 다음 단계를 따르세요:

필요한 모듈 가져오기−Python 스크립트를 열고 필요한 모듈을 먼저 가져오세요−

으아아아

"요청" 모듈은 HTTP 요청을 처리하는 반면 "bs4" 모듈의 "BeautifulSoup" 클래스는 HTML 콘텐츠를 구문 분석하는 데 도움이 됩니다.

웹사이트 URL 지정 − 모니터링하려는 웹사이트의 URL을 결정하세요. 예를 들어 데모를 위해 "https://example.com"이라는 URL을 사용합니다. 모니터링하려는 웹사이트의 실제 URL로 바꾸세요.

url = "https://example.com"

로그인 후 복사

发送 GET 请求并检索内容− 使用“requests.get()”方法向网站 URL 发送 GET 请求并检索内容。将响应分配给变量以进行进一步处理。

response = requests.get(url)

로그인 후 복사

检查响应状态−最好检查响应的状态以确保请求成功。我们将使用“response.status_code”属性，该属性应在请求成功时返回状态代码 200。

if response.status_code == 200:
    # Proceed with further processing
else:
    print("Failed to retrieve website content. Status code:", response.status_code)
    # Handle error or exit the script

로그인 후 복사

检索网站内容后，您可以将其与之前保存的版本进行比较，以确定是否有任何更改。

保存并比较网站内容

一旦我们检索了网站内容，我们需要将其保存以供将来比较。在本节中，我们将讨论如何保存内容并将其与以前保存的版本进行比较。请按照以下步骤操作−

保存初始网站内容 − 检索网站内容后，将其保存到文件中以供将来比较。创建一个新文件并使用“write()”方法将内容写入其中。例如−

with open("website_content.txt", "w") as file:
    file.write(response.text)

로그인 후 복사

这会将网站内容保存在当前目录中名为“website_content.txt”的文件中。

与之前的内容进行比较− 为了检测更改，我们需要将当前网站内容与之前保存的版本进行比较。从保存的文件中读取内容并将其与新内容进行比较。例如−

with open("website_content.txt", "r") as file:
    previous_content = file.read()

if response.text == previous_content:
    print("No changes detected.")
else:
    print("Website content has changed.")
    # Perform further actions for handling the changes

로그인 후 복사

在这里，我们将响应中的新内容与从文件中读取的内容进行比较。如果它们匹配，则不会检测到任何更改。否则，我们会打印一条消息，表明网站内容已更改。

更新保存的内容 − 如果检测到更改，我们应该使用新版本更新保存的内容。这将确保下一次比较是针对最新内容进行的。使用与之前相同的文件写入逻辑来更新内容：

with open("website_content.txt", "w") as file:
    file.write(response.text)

로그인 후 복사

通过覆盖文件，我们将新内容保存为最新版本。

通过执行以下步骤，您可以保存初始网站内容，将其与未来版本进行比较，并识别任何更改。在下一节中，我们将探讨如何使用 Python 脚本自动执行此过程。

自动化网站监控

每次我们想要监视网站的更改时手动运行脚本可能是乏味且不切实际的。在本节中，我们将讨论如何使用 Python 脚本和调度工具自动化网站监控过程。请按照以下步骤操作：

创建 Python 脚本− 打开您喜欢的 Python 编辑器或 IDE 并创建一个新的 Python 脚本文件。您可以将其命名为“website_monitor.py”。
导入必要的模块− 在脚本的开头，导入所需的模块，包括用于发出 HTTP 请求的“请求”和用于在请求之间添加延迟的“时间”。此外，导入您可能需要的任何其他模块，用于根据网站更改发送通知或执行其他操作。

import requests
import time
# Import other modules as needed

로그인 후 복사

定义网站网址和监控间隔 − 通过将要监控的网站的 URL 分配给变量来设置它。另外，指定您要检查更改的时间间隔。此间隔可以以秒、分钟或任何其他合适的单位为单位。

website_url = "https://example.com"
monitoring_interval = 300  # Check every 5 minutes

로그인 후 복사

创建监控函数− 定义一个封装监控逻辑的函数。该函数将负责发出 HTTP 请求、比较网站内容并根据更改执行任何所需的操作。

def monitor_website():
    while True:
        # Make the HTTP request to the website
        response = requests.get(website_url)

        # Compare the current content with the saved content
        with open("website_content.txt", "r") as file:
            previous_content = file.read()

        if response.text != previous_content:
            print("Website content has changed.")
            # Perform desired actions for handling the changes

        # Update the saved content
        with open("website_content.txt", "w") as file:
            file.write(response.text)

        # Wait for the specified interval before the next check
        time.sleep(monitoring_interval)

로그인 후 복사