Exercices de base sur les robots d'exploration – python crawler télécharger des photos de la fille Douban

Téléchargez les photos des filles sur le site Web désigné. Ici, nous capturons uniquement les 100 premières pages de photos. Vous pouvez définir le nombre de pages en fonction de vos besoins.
La valeur du chat est le type d'image. valeur de chat pour en faire l'expérience vous-même. Si vous avez des questions, laissez un message à Je répondrai quand je le verrai
2 = Fille aux gros seins
3 = Belles jambes
4 = Belle apparence
5 = Méli-mélo
6 = Petites fesses

import requests
import re
import time
from bs4 import BeautifulSoup

cat ='2'
img = 'http://www.dbmeinv.com/dbgroup/show.htm?cid='+ cat
end = '/dbgroup/show.htm?cid='+ cat + '&pager_offset=100'
urls = [ ]
def getURLs(mainURL):
    time.sleep(1)
    headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'}
    html = requests.get(mainURL).text
    soup = BeautifulSoup(html, 'html.parser')
    picURL = re.findall('<img class.*?src="(.+?\.jpg)"', html, re.S)
    for url in picURL:
        urls.append(url)
        print(url)
    asoup = soup.select('.next a')[0]['href']
    Next_page = 'http://www.dbmeinv.com' + asoup
    if asoup != end:
        getURLs(Next_page)
    else:
        print('链接已处理完毕！')
    return urls
url = getURLs(img)

i = 0
for each in url:
    pic = requests.get(each, timeout = 10)
    picName = 'pictures/' + str(i) + '.jpg'
    fp = open(picName, 'wb')
    fp.write(pic.content)
    fp.close()
    i += 1

print('图片下载完成')

Plus d'exercices de base sur les robots - le robot python télécharge des photos de filles Douban Pour les articles connexes, veuillez faire attention au site Web PHP chinois !