데이터 스크래핑과 관련된 모든 SEO 전문가는 CAPTCHA가 필요한 정보에 대한 접근을 제한하는 어려운 장벽이라는 것을 알고 있습니다. 그러나 완전히 피할 가치가 있습니까, 아니면 우회하는 방법을 배우는 것이 더 낫습니까? CAPTCHA가 무엇인지, 왜 그렇게 널리 사용되는지, SEO 전문가가 실제 사례와 효과적인 방법을 사용하여 이를 우회할 수 있는 방법을 분석해 보겠습니다.
모든 SEO 전문가는 CAPTCHA를 접했습니다. 그렇지 않다면 전문가가 아니거나 SEO라는 약어를 오해하거나(SMM 또는 CEO와 혼동할 수도 있음), 이제 막 이 어려운 작업을 시작하고 있는 것입니다.
CAPTCHA(“Completely Automated Public Turing Test To Tell Computers and Humans Apart”)는 데이터 스크래핑이나 봇 공격과 같은 자동화된 작업으로부터 사이트를 보호하는 방법입니다. CAPTCHA는 "Полностьу автоматизированный публичный тест Тьуринга для различения компьутеров и лудей"로 번역됩니다.
CAPTCHA가 과대평가되었다는 사실을 오랫동안 부인하고 상당한 자원 가치가 없다고 주장할 수도 있습니다. 그러나 이러한 주장은 XML 요청에 대한 어떠한 지식도 없이 Yandex와 같은 검색 엔진에서 데이터를 검색해야 하는 순간에 무너집니다... 또는 예를 들어 클라이언트가 Amazon 전체를 스크랩하고 싶어하고 비용을 많이 지불하는 경우... 아니요 그러면 다음과 같은 질문이 생깁니다. "더 이상 말하지 마세요..."
상황은 생각만큼 간단하지 않습니다. 데이터 스크랩으로부터 사이트를 보호하는 것은 어려울 수 있으며, 특히 비상업적 프로젝트이거나 "햄스터 사이트"인 경우에는 더욱 그렇습니다. 종종 시간도 없고, 가장 중요한 것은 CAPTCHA에 리소스를 할당할 욕구도 없습니다. 하지만 수백만 달러를 벌어들이는 주요 포털의 소유자라면 이야기가 다릅니다. 그렇다면 DDoS 공격이나 부정직한 경쟁자를 방지하기 위한 조치를 포함하여 전면적인 보호를 고려하는 것이 합리적입니다.
예를 들어 Amazon은 각기 다른 상황에 나타나는 세 가지 유형의 CAPTCHA를 적용하고 자동화 도구와 스크레이퍼가 오래된 방법에 의존할 수 없도록 무작위로 디자인을 변경합니다. 이로 인해 보호를 우회하는 것이 복잡해지고 비용도 많이 듭니다.
소규모 웹마스터의 경우 복잡한 보안 문자가 특히 사이트 장벽이 너무 높은 경우 실제 사용자를 방해할 수 있다는 점도 이해하고 있습니다. 동시에 사이트를 보호하지 않고 방치하는 것은 현명하지 못합니다. 보안 문자를 우회할 수는 없지만 여전히 대량 작업을 수행할 수 있는 가장 멍청한 봇도 유인할 수 있습니다.
현대 사이트 소유자는 reCAPTCHA 또는 hCaptcha와 같은 범용 솔루션을 사용하여 균형을 찾으려고 노력합니다. 이는 사용자에게 심각한 불편을 끼치지 않고 단순한 봇으로부터 사이트를 보호합니다. 더 복잡한 CAPTCHA는 사이트가 대규모 봇 공격을 받을 때만 사용됩니다.
SEO 전문가의 관점에서 질문을 생각해 보겠습니다. 왜 그리고 어떤 목적으로 CAPTCHA를 우회해야 할까요?
검색 엔진에서의 위치 분석과 같은 가장 기본적인 작업에는 CAPTCHA 우회가 필요할 수 있습니다. 물론, 이는 일일 위치 모니터링 비용을 청구하는 타사 서비스를 통해 제공됩니다. 또한 타사 CAPTCHA 인식 서비스에 대한 비용도 지불해야 합니다.
경쟁업체 사이트를 검색할 때도 CAPTCHA가 관련될 수 있습니다. 보호 수준이 다르기 때문에 경쟁사 사이트에서 CAPTCHA를 우회하는 것이 검색 순위를 수집하는 것보다 쉬운 경우가 많습니다.
일상적인 작업을 자동화하는 것은 좀 더 틈새적인 주제입니다. 모든 사람이 사용하는 것은 아니지만 헌신적인 SEO 전문가에게는 시간과 노력을 절약할 수 있는 귀중한 도구가 될 수 있습니다.
일반적으로 비용 효율성을 계산하는 것이 중요합니다. 위치 모니터링 서비스와 CAPTCHA 인식 서비스 비용을 지불하는 것이 더 저렴합니까, 아니면 자체 솔루션을 만들어 비용을 줄이는 것이 더 저렴합니까? 물론, 프로젝트가 한두 개에 불과하고 클라이언트가 비용을 지불하는 경우 후자의 옵션은 지나치게 노동 집약적으로 들립니다. 하지만 여러 프로젝트를 소유하고 모든 비용을 직접 지불한다면… 생각해 볼 가치가 있습니다.
단순히 Key Collector에 API 키를 연결하는 것보다 조금 더 노력이 필요한 방법을 살펴보겠습니다. 단순히 서비스 홈페이지에서 API 키를 찾아 올바른 필드에 삽입하는 방법을 아는 것보다 더 깊은 지식이 필요합니다.
가장 널리 사용되는 방법은 전문 서비스(예: 2Captcha 또는 RuCaptcha)에 CAPTCHA를 보내 준비된 솔루션을 반환하는 것입니다. 이러한 서비스는 해결된 CAPTCHA당 결제가 필요합니다.
다음은 Python에서 reCAPTCHA V2를 해결하기 위한 표준 코드의 예입니다.
import requests
import time
API_KEY = 'YOUR_2CAPTCHA_KEY'
SITE_KEY = 'YOUR_SITE_KEY'
PAGE_URL = 'https://example.com'
def get_captcha_solution():
captcha_id_response = requests.post("http://2captcha.com/in.php", data={
'key': API_KEY,
'method': 'userrecaptcha',
'googlekey': SITE_KEY,
'pageurl': PAGE_URL,
'json': 1
}).json()
if captcha_id_response['status'] != 1:
print(f"Error: {captcha_id_response['request']}")
return None
captcha_id = captcha_id_response['request']
print(f"CAPTCHA sent. ID: {captcha_id}")
for attempt in range(30):
time.sleep(5)
result = requests.get("http://2captcha.com/res.php", params={
'key': API_KEY,
'action': 'get',
'id': captcha_id,
'json': 1
}).json()
if result['status'] == 1:
print(f"CAPTCHA solved: {result['request']}")
return result['request']
elif result['request'] == 'CAPCHA_NOT_READY':
print(f"Waiting for solution... attempt {attempt + 1}/30")
else:
print(f"Error: {result['request']}")
return None
return None
captcha_solution = get_captcha_solution()
if captcha_solution:
print('CAPTCHA solution:', captcha_solution)
else:
print('Solution failed.')
이 코드는 문제 해결을 위해 CAPTCHA를 자동으로 제출하고 보호를 우회하는 데 필요한 토큰을 받는 데 도움이 됩니다.
두 번째 방법은 주거용 프록시를 사용하여 IP 주소를 순환하는 것입니다. 이를 통해 마치 다른 사람인 것처럼 각각의 새로운 프록시에서 사이트에 액세스할 수 있으므로 CAPTCHA 활성화 가능성이 줄어듭니다.
다음은 Python에서 프록시 회전을 사용하는 코드의 예입니다.
import requests
from itertools import cycle
import time
import urllib.parse
# List of proxies with individual logins and passwords
proxies_list = [
{"proxy": "2captcha_proxy_1:port", "username": "user1", "password": "pass1"},
{"proxy": "2captcha_proxy_2:port", "username": "user2", "password": "pass2"},
{"proxy": "2captcha_proxy_3:port", "username": "user3", "password": "pass3"},
# Add more proxies as needed
]
# Proxy rotation cycle
proxy_pool = cycle(proxies_list)
# Target URL to work with
url = "https://example.com"
# Headers to simulate a real user
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:129.0) Gecko/20100101 Firefox/129.0"
}
# Sending several requests with proxy rotation
for i in range(5): # Specify the number of requests needed
proxy_info = next(proxy_pool)
proxy = proxy_info["proxy"]
username = urllib.parse.quote(proxy_info["username"])
password = urllib.parse.quote(proxy_info["password"])
# Create a proxy with authorization
proxy_with_auth = f"http://{username}:{password}@{proxy}"
try:
response = requests.get(
url,
headers=headers,
proxies={"http": proxy_with_auth, "https": proxy_with_auth},
timeout=10
)
# Check response status
if response.status_code == 200:
print(f"Request {i + 1} via proxy {proxy} was successful.")
else:
print(f"Request {i + 1} ended with status code {response.status_code}")
except requests.exceptions.RequestException as e:
print(f"Error with proxy {proxy}: {e}")
# Delay between requests for natural behavior
time.sleep(2)
이 예에서는 프록시 순환을 사용하여 대상 사이트에 요청을 보내 차단 위험을 줄이는 방법을 보여줍니다.
세 번째 방법은 Selenium과 같은 헤드리스 브라우저를 사용하여 실제 사용자 작업을 시뮬레이션하는 것입니다. 이 접근 방식은 노동 집약적일 수 있지만 효과적이기도 합니다.
다음은 프록시 순환과 함께 Selenium을 사용하는 예제 코드입니다.
import requests
import time
API_KEY = 'YOUR_2CAPTCHA_KEY'
SITE_KEY = 'YOUR_SITE_KEY'
PAGE_URL = 'https://example.com'
def get_captcha_solution():
captcha_id_response = requests.post("http://2captcha.com/in.php", data={
'key': API_KEY,
'method': 'userrecaptcha',
'googlekey': SITE_KEY,
'pageurl': PAGE_URL,
'json': 1
}).json()
if captcha_id_response['status'] != 1:
print(f"Error: {captcha_id_response['request']}")
return None
captcha_id = captcha_id_response['request']
print(f"CAPTCHA sent. ID: {captcha_id}")
for attempt in range(30):
time.sleep(5)
result = requests.get("http://2captcha.com/res.php", params={
'key': API_KEY,
'action': 'get',
'id': captcha_id,
'json': 1
}).json()
if result['status'] == 1:
print(f"CAPTCHA solved: {result['request']}")
return result['request']
elif result['request'] == 'CAPCHA_NOT_READY':
print(f"Waiting for solution... attempt {attempt + 1}/30")
else:
print(f"Error: {result['request']}")
return None
return None
captcha_solution = get_captcha_solution()
if captcha_solution:
print('CAPTCHA solution:', captcha_solution)
else:
print('Solution failed.')
이 예는 Selenium을 사용하여 사이트의 요소를 스크롤하고 상호 작용함으로써 실제 사용자를 시뮬레이션하는 방법을 보여줍니다.
결론적으로 시간이 있고 코드를 작업하고 싶다면 프록시 회전 및 헤드리스 브라우저와 같은 방법을 결합하면 훌륭한 결과를 얻을 수 있습니다. 작업을 단순화하고 싶다면 해당 작업을 위해 미리 만들어진 도구를 제공하는 서비스를 사용하세요. 그러나 각 특정 작업에 가장 적합한 도구를 신중하게 선택하는 것이 중요합니다.
보안 문자 없이 액세스할 수 있기를 바랍니다!
위 내용은 코드 예제를 통해 SEO 전문가를 위한 고급 CAPTCHA 우회 기술의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
