Google은 기업과 연구자를 위해 막대한 양의 데이터를 보유하고 있습니다. 매일 85억 건 이상의 검색을 수행하며 전 세계 검색 엔진 시장의 91%를 점유하고 있습니다.
ChatGPT가 출시된 이후 Google 데이터는 순위 추적, 경쟁사 모니터링, 리드 생성과 같은 전통적인 목적뿐만 아니라 고급 LLM 모델 개발, AI 모델 교육, 자연어 처리 기능 향상에도 활용되었습니다( NLP) 모델.
그러나 Google을 스크래핑하는 것은 모든 사람에게 쉬운 일이 아닙니다. 대규모로 스크레이핑하려면 전문가 팀과 강력한 인프라가 필요합니다.
이 기사에서는 Python과 BeautifulSoup을 사용하여 Google 검색 결과를 스크랩하는 방법을 배웁니다. 이를 통해 Google의 데이터를 대규모로 활용할 수 있는 자체 도구와 모델을 구축할 수 있습니다.
시작해 보세요!
Google 검색결과는 사용자가 검색창에 입력한 검색어를 바탕으로 Google에 표시되는 목록입니다. Google은 이러한 쿼리를 이해하고 사용자에게 관련 결과를 제공하기 위해 NLP를 적극적으로 활용합니다. 이러한 결과에는 최신 AI 개요, 사람들이 묻는 질문(People Also Ask) 섹션, 관련 검색어, 지식 그래프와 같은 유기적 결과 외에도 추천 스니펫이 포함되는 경우가 많습니다. 이러한 요소는 사용자의 검색어를 기반으로 요약 및 관련 정보를 제공합니다.
Google 검색 데이터에는 다양한 용도가 있습니다.
Python은 다른 언어에서 어려움을 겪거나 성공률이 낮은 웹사이트를 스크랩하기 위한 강력한 HTTP 핸드셰이크 구성을 제공하는 다재다능하고 강력한 언어입니다. 웹 스크래핑 데이터에 대해 훈련된 AI 모델의 인기가 높아짐에 따라 개발자 커뮤니티 내에서 웹 스크래핑 주제에 대한 Python의 관련성이 계속 높아지고 있습니다.
또한 Python을 웹 스크래핑 기술로 배우려는 초보자도 간단한 구문과 코드 명확성으로 인해 쉽게 이해할 수 있습니다. 게다가 Discord, Reddit 등과 같은 플랫폼에 대한 대규모 커뮤니티 지원이 있어 직면한 모든 문제에 도움을 줄 수 있습니다.
이 확장 가능한 언어는 웹 스크래핑 성능이 뛰어나고 Scrapy, Requests 및 BeautifulSoup와 같은 강력한 프레임워크를 제공하므로 다른 언어에 비해 Google 및 기타 웹사이트를 스크래핑하는 데 탁월한 선택입니다.
이 섹션에서는 처음 10개의 Google 검색결과를 검색하는 기본 Python 스크립트를 만드는 방법을 설명합니다.
이 튜토리얼을 따르려면 다음 라이브러리를 설치해야 합니다.
요청 — Google 검색 URL에서 HTML 데이터를 가져옵니다.
BeautifulSoup — HTML 데이터를 구조화된 형식으로 개선합니다.
설정은 간단합니다. 시작하려면 Python 파일을 생성하고 필요한 라이브러리를 설치하세요.
프로젝트 폴더에서 다음 명령을 실행하세요.
touch scraper.py
그런 다음 라이브러리를 설치합니다.
pip install requests
pip install beautifulsoup4
설정이 완료되었으며 앞으로 나아갈 모든 준비가 완료되었습니다. Python의 Requests 라이브러리를 사용하여 원시 HTML과 BeautifulSoup을 추출하여 이를 개선하고 원하는 정보를 얻습니다.
그런데 여기서 '원하는 정보'는 무엇일까요?
필터링된 데이터에는 다음 정보가 포함됩니다.
scraper.py 파일에서 먼저 설치된 라이브러리를 가져와 보겠습니다.
from bs4 import BeautifulSoup
import requests
그런 다음 대상 URL에 대해 GET 요청을 수행하여 Google에서 원시 HTML 데이터를 가져옵니다.
headers={'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.361681276786'}
url='https://www.google.com/search?q=python+tutorials&gl=us'
response = requests.get(url,headers=headers)
print(response.status_code)
스크래퍼가 정보를 얻기 위해 Google 검색 페이지를 방문하는 일반 사용자처럼 보이도록 하려면 헤더를 전달하는 것이 중요합니다.
위 코드는 Google 검색 링크에서 HTML 데이터를 가져오는 데 도움이 됩니다. 200 상태 코드를 받았다면 요청이 성공한 것입니다. 이로써 Google용 스크레이퍼 생성의 첫 번째 부분이 완료되었습니다.
다음 부분에서는 BeautifulSoup을 사용하여 HTML에서 필요한 데이터를 가져옵니다.
soup = BeautifulSoup(response.text, ‘html.parser’)
이렇게 하면 HTML 응답을 구문 분석하는 BS4 개체가 생성되므로 HTML 내부를 쉽게 탐색하고 선택한 요소와 그 안에 있는 콘텐츠를 찾을 수 있습니다.
이 HTML을 구문 분석하려면 먼저 Google 검색 페이지를 검사하여 검색 결과의 DOM 위치에서 어떤 공통 패턴을 찾을 수 있는지 확인해야 합니다.
그래서 검사 결과 모든 검색 결과가 클래스 g가 포함된 div 컨테이너 아래에 있다는 것을 알게 되었습니다. 즉, 내부 정보를 가져오려면 g 클래스를 사용하여 각 div 컨테이너에 대해 루프를 실행하기만 하면 됩니다.
코드를 작성하기 전에 HTML에서 제목, 설명, 링크의 DOM 위치를 찾습니다.
제목을 살펴보면 h3 태그 내에 포함되어 있음을 알 수 있습니다. 이미지를 보면 링크가 앵커 태그의 href 속성에 있는 것을 확인할 수 있습니다.
표시된 링크 또는 cite 링크는 cite 태그 내에서 확인할 수 있습니다.
마지막으로 설명은 VwiC3b 클래스와 함께 div 컨테이너 내부에 저장됩니다.
이러한 모든 데이터 항목을 단일 코드 블록으로 래핑:
touch scraper.py
자연적 결과 배열을 선언한 다음 HTML에서 g 클래스를 사용하여 모든 요소를 반복하고 수집된 데이터를 배열 내부로 푸시했습니다.
이 코드를 실행하면 순위 추적, 리드 생성, 웹사이트 SEO 최적화 등 다양한 목적으로 사용할 수 있는 원하는 결과를 얻을 수 있습니다.
pip install requests
pip install beautifulsoup4
이렇게 기본 Google 스크래핑 스크립트가 생성됩니다.
그러나 CATCH가 있습니다. Google이 IP를 차단할 수 있으므로 여전히 이 방법을 완전히 신뢰할 수는 없습니다. 대규모로 검색 결과를 스크랩하려면 프리미엄 및 비프리미엄 프록시로 구성된 방대한 네트워크와 이를 가능하게 하는 고급 기술이 필요합니다. SERP API가 작동하는 곳이 바로 여기입니다!
Google을 스크래핑하는 또 다른 방법은 전용 SERP API를 사용하는 것입니다. 훨씬 더 안정적이며 스크래핑 과정에서 차단되는 일이 없습니다.
이 섹션의 설정은 동일합니다. 단지 ApiForSeo에 등록하여 SERP API에 대한 액세스를 제공하는 API 키를 받아야 합니다.
계정을 활성화하면 API 키를 받을 수 있는 대시보드로 리디렉션됩니다.
대시보드 자체에서 코드를 복사할 수도 있습니다.
그런 다음 ApiForSeo SERP API를 통해 데이터를 스크랩하는 임의의 쿼리에 대한 API 요청을 생성하겠습니다.
from bs4 import BeautifulSoup
import requests
다른 쿼리도 시도해 볼 수 있습니다. API 키를 코드에 입력하는 것을 잊지 마세요. 그렇지 않으면 404 오류가 발생합니다.
이 코드를 터미널에서 실행하면 즉시 결과를 얻을 수 있습니다.
touch scraper.py
위 데이터에는 제목, 링크, 스니펫, 설명, 확장 사이트링크와 같은 추천 스니펫 등 다양한 요소가 포함되어 있습니다. 또한 이 API에서 사람들이 묻는 질문(People Also Ask For), 지식 그래프, 답변 상자 등과 같은 고급 기능 스니펫도 얻을 수 있습니다.
비즈니스의 성격은 빠른 속도로 진화하고 있습니다. 진행 중인 추세와 경쟁업체에 대한 데이터에 접근할 수 없다면 모든 단계에서 데이터 기반의 전략적 결정을 내리는 신흥 기업에 뒤처질 위험이 있습니다. 따라서 기업이 자신의 환경에서 무슨 일이 일어나고 있는지 이해하는 것이 중요하며, Google은 이러한 목적을 위한 최고의 데이터 소스 중 하나가 될 수 있습니다.
이 튜토리얼에서는 Python을 사용하여 Google 검색 결과를 스크랩하는 방법을 배웠습니다. 이 블로그가 도움이 되었다면 소셜 미디어 및 기타 플랫폼에서 공유해 주세요.
감사합니다!
위 내용은 Python을 사용하여 Google 검색 결과 스크랩의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
