Python 크롤러의 프록시 IP를 설정하는 방법

Python 크롤러용 프록시 IP를 설정하는 방법: 먼저 획득한 IP 주소를 프록시에 쓴 다음 Baidu를 사용하여 IP 프록시가 성공했는지 확인하고 마지막으로 웹 페이지에서 전달된 매개변수를 요청하고 반환을 받습니다. 페이지를 열고 로컬에 저장하세요.

【관련 학습 권장사항:python tutorial】

Python 크롤러용 프록시 IP 설정 방법:

IP 프록시 설정은 크롤러에게 필수적인 기술입니다.

이 머신 보기 IP 주소; Baidu를 열고 "ip 주소"를 입력하면 기계의 IP 주소를 볼 수 있습니다.

이 기사는 goubanjia.com의 무료 IP를 사용합니다. 사용하기 전송 프로토콜이 http인지 https인지 주의하세요. 코드는 다음과 같습니다.

# 用到的库
import requests
# 写入获取到的ip地址到proxy
proxy = {
    'https':'221.178.232.130:8080'
}
# 用百度检测ip代理是否成功
url = 'https://www.baidu.com/s?'
# 请求网页传的参数
params={
    'wd':'ip地址'
}
# 请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
# 发送get请求
response = requests.get(url=url,headers=headers,params=params,proxies=proxy)
# 获取返回页面保存到本地，便于查看
with open('ip.html','w',encoding='utf-8') as f:
    f.write(response.text)

저장된 "ip.html"을 열고 다음과 같이 내용을 확인하세요.

위 내용은 Python 크롤러의 프록시 IP를 설정하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!