Amazon에서 리뷰 데이터를 스크랩하는 것은 비교적 복잡한 작업입니다. 그 이유는 Amazon이 크롤러를 방해하는 엄격한 메커니즘을 갖고 있기 때문입니다. 데이터 스크랩을 시도하기 전에 Amazon의 이용 약관과 현지 법률 및 규정을 이해하고 준수하여 잠재적인 법적 문제를 방지하세요.
다음은 Python과 요청 및 BeautifulSoup와 같은 일부 일반적인 라이브러리를 사용하여 웹 페이지의 콘텐츠를 가져오는 방법을 보여주는 간단한 예입니다. 그러나 실제 사용에서는 JavaScript 렌더링 콘텐츠, 동적으로 로드된 데이터, 로그인 확인 등과 같은 더 많은 안티 크롤러 메커니즘을 처리해야 할 수도 있습니다.
먼저 요청 및 bs4 라이브러리가 설치되어 있는지 확인하세요.
pip 설치 요청 beautifulsoup4
import requests
from bs4 import BeautifulSoup
def get_amazon_reviews(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
# The selector here needs to be adjusted according to the actual HTML structure
reviews = soup.find_all('span', {'class': 'a-size-base review-text'})
for review in reviews:
print(review.text)
else:
print("Failed to retrieve content from the URL")
# Example URL, please replace with the actual Amazon product review page URL
url = 'https://www.amazon.com/product-reviews/YOUR_PRODUCT_ASIN/ref=cm_cr_arp_d_viewopt_rvwer?ie=UTF8&reviewerType=avp_only_reviews&sortBy=recent&pageNumber=1'
get_amazon_reviews(url)
User-Agent: 적절한 User-Agent가 설정되어 있는지 확인하세요. 그렇지 않으면 요청이 거부될 수 있습니다.
선택기: 예제의 선택기(예: 범위 태그 및 클래스)는 실제 페이지 구조에 따라 조정해야 할 수도 있습니다.
크롤러 장애물: Amazon에는 JavaScript 렌더링, 데이터 동적 로드 등을 포함할 수 있는 복잡한 크롤링 방해 메커니즘이 있으며, 이를 위해서는 Selenium과 같은 고급 크롤러 기술을 사용해야 할 수도 있습니다.
법적 및 윤리적 문제: 웹사이트 데이터를 크롤링하기 전에 웹사이트의 이용 약관과 현지 법률 및 규정을 이해하고 준수하는지 확인하세요.
Selenium을 사용하여 Amazon의 크롤러 차단을 처리하면 인간 작업을 시뮬레이션하여 탐지를 우회할 수 있습니다. 구체적인 단계는 다음과 같습니다.
Selenium 라이브러리와 ChromeDriver 등 해당 WebDriver를 설치합니다.
WebDriver를 초기화하고 대상 웹페이지를 엽니다.
Selenium을 통해 클릭, 입력 등의 사용자 행동을 시뮬레이션합니다.
장바구니에 담기 버튼을 클릭하고 구매 수량을 선택하는 등 일반 사용자의 쇼핑 과정을 시뮬레이션할 수 있습니다.
인증코드가 발생하면 이미지 인식 기술이나 타사 서비스를 통해 해결할 수 있습니다.
사용자 행동을 시뮬레이션하는 과정에서 제품 정보, 사용자 리뷰 등 페이지의 데이터를 추출할 수 있습니다.
Selenium을 사용하면 기존 크롤러 프레임워크보다 속도가 느리고 리소스 집약적일 수 있으므로 대규모 사용을 피하는 것이 좋습니다.
Python으로 Amazon 리뷰를 크롤링할 때 로그인 확인을 위한 솔루션:
프록시 사용: 프록시를 구성하고 사용하면 동일한 IP 주소에 대한 빈번한 요청을 피할 수 있으므로 Amazon에서 감지하고 금지할 위험을 줄일 수 있습니다.
사용자 행동 시뮬레이션: 브라우저 자동화 도구(예: Selenium)를 사용하여 실제 사용자의 작업을 시뮬레이션하고 인증 코드 식별 및 입력을 자동으로 완료하며 감지 가능성을 줄입니다.
크롤링 속도 제어: 과도한 크롤링 속도로 인해 Amazon의 인증 코드 메커니즘이 트리거되는 것을 방지하기 위해 크롤러의 액세스 빈도를 합리적으로 제어합니다.
계좌 인증 준비 : 계정 인증이 필요한 상황에서는 관련 인증 자료를 미리 준비하고, 네트워크 환경이 안정적인지 확인하여 인증 합격률을 높이세요.
Python으로 크롤링된 Amazon 리뷰 데이터 처리는 다음 단계로 나눌 수 있습니다.
요청 및 BeautifulSoup 라이브러리를 사용하여 웹페이지 데이터를 얻으세요.
XHR 요청을 분석하여 실제 검토 데이터를 얻고 프록시를 사용하여 안정적인 액세스를 보장합니다.
정규식 또는 BeautifulSoup을 사용하여 리뷰의 평점, 날짜, 내용, 좋아요 수를 추출합니다.
추후 분석을 위해 추출된 데이터를 Excel 파일이나 데이터베이스에 저장하세요.
품사 태깅을 위해 nltk 라이브러리를 사용하고 가장 자주 나타나는 단어를 계산합니다.
seaborn 또는 matplotlib를 사용하여 막대 차트를 그려 결과를 표시합니다.
Python을 사용하여 Amazon 리뷰 데이터를 크롤링하는 것이 불법인지 여부는 여러 요인에 따라 달라집니다.
데이터 성격: 리뷰 데이터가 공개 정보인지, 개인정보 보호 또는 영업비밀과 관련된지 여부
사용 목적: 데이터 크롤링의 목적은 합법적이어야 하며 상업적 사기, 악의적 경쟁 또는 기타 불법 활동에 사용될 수 없습니다.
규정 준수: 아마존의 로봇 프로토콜 및 기타 관련 규정을 준수해야 하며, 웹사이트의 기술적 보호 조치를 우회하거나 파괴해서는 안 됩니다.
법률 및 규정: 크롤러 행동이 합법적이고 규정을 준수하는지 확인하려면 크롤러 행동에 대한 현지 법률 및 규정의 특정 조항을 고려해야 합니다.
따라서 Amazon 리뷰 데이터를 무단으로 크롤링하는 것은 불법 행위에 해당될 수 있습니다. 웹사이트 데이터를 크롤링하기 전에 해당 행위가 합법적이고 규정을 준수하는지 확인하기 위해 관련 법률 및 규정과 웹사이트 규정을 이해하는 것이 좋습니다. 필요한 경우 전문변호사 또는 법률기관에 상담을 받아 보다 정확한 법률자문을 받으실 수 있습니다.
Amazon 리뷰를 스크랩하는 것은 기술적인 문제이며 법적, 윤리적 문제를 신중하게 처리해야 합니다. 이러한 활동을 수행할 계획이라면 먼저 Amazon의 관련 정책을 자세히 이해하고 공식 API(사용 가능한 경우)를 사용하여 데이터를 얻는 것을 고려하는 것이 좋습니다.
위 내용은 Python을 사용하여 Amazon 리뷰를 스크랩하는 단계별 가이드의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
