Rumah > pembangunan bahagian belakang > Tutorial Python > python批量抓取美女图片

python批量抓取美女图片

高洛峰
Lepaskan: 2016-10-18 14:26:34
asal
1336 orang telah melayarinya

学了python以后,知道python的抓取功能其实是非常强大的,当然不能浪费,呵呵。我平时很喜欢美女图,呵呵,程序员很苦闷的,看看美女,养养眼,增加点乐趣。好,那就用python写一个美女图自动抓取程序吧~~

其中用到urllib2模块和正则表达式模块。下面直接上代码:

用python批量抓取美女图片

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

#!/usr/bin/env python

#-*- coding: utf-8 -*-

#通过urllib(2)模块下载网络内容

import urllib,urllib2,gevent

#引入正则表达式模块,时间模块

import re,time

from gevent import monkey

    

monkey.patch_all()

    

def geturllist(url):

    url_list=[]

    print url      

    s = urllib2.urlopen(url)

    text = s.read()

    #正则匹配,匹配其中的图片

    html = re.search(r&#39;<ol.*</ol>&#39;, text, re.S)

    urls = re.finditer(r&#39;<p><img  src="/static/imghw/default1.png"  data-src="(.+?)jpg"  class="lazy"   / alt="python批量抓取美女图片" ></p>&#39;,html.group(),re.I)

    for i in urls:

        url=i.group(1).strip()+str("jpg")

        url_list.append(url)

    return url_list

    

def download(down_url):

    name=str(time.time())[:-3]+"_"+re.sub(&#39;.+?/&#39;,&#39;&#39;,down_url)

    print name

    urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)

    

def getpageurl():

    page_list = []

    #进行列表页循环

    for page in range(1,700):

        url="http://jandan.net/ooxx/page-"+str(page)+"#comments"

        #把生成的url加入到page_list中

        page_list.append(url)

    print page_list

    return page_list

if __name__ == &#39;__main__&#39;:

    jobs = []

    pageurl = getpageurl()[::-1]

    #进行图片下载

    for i in pageurl:

        for (downurl) in geturllist(i):

            jobs.append(gevent.spawn(download, downurl))

    gevent.joinall(jobs)

Salin selepas log masuk

程序不长才45行,不是太难,大家可以研究下,这里我只是抛砖引玉,大家可以根据原理开发出其他的抓取程序,呵呵,自己想去吧。。。我就不多说了~~


Label berkaitan:
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan