python制作最美应用的爬虫
蟒蛇爬行动物
安卓最美应用页面爬虫,爬虫很简单,设计的东西到挺多的
文件操作
正则表达式
字符串替换等等
import requests import re url = "http://zuimeia.com" r = requests.get('http://zuimeia.com/community/app/hot/?platform=2') pattern = re.compile(r'<a class="community-app-cover-wrapper" href="(.*?)" target="_blank">') urlList = pattern.findall(r.content) def requestsUrl(url): r = requests.get(url) title = re.findall(r'"app-title"><h1 id="">(.*?)</h1>',r.content) #print title category = re.findall(r'<a class="app-tag" href="/community/app/category/title/.*?/?platform=2">(.*?)</a>',r.content) #print category describe = re.findall(r'<div id="article_content">(.*?)<div class="community-image-wrapper">',r.content) #print type(describe[0]) strdescribe = srtReplace(describe[0]) #print strdescribe downloadUrl = re.findall(r'<a class="download-button direct hidden" href="(.*?)"',r.content) #print downloadUrl return title,category,strdescribe,downloadUrl def srtReplace(string): listReplace = ['<p>', '<br>', '<h1 id="h-h-h-h-h-h-strong-p-br">', '<h2>', '<h3>', '<h4>', '<h5>', '<h6>', '<h7>','<strong>','</p>', '<br/>', '</h1>', '</h2>', '</h3>', '</h4>', '</h5>', '</h6>', '</h7>','</strong>','<b>', '</b>'] for eachListReplace in listReplace: string = string.replace(str(eachListReplace),'\n') string = string.replace('\n\n','') return string def categornFinal(category): categoryFinal ='' for eachCategory in category: categoryFinal = categoryFinal+str(eachCategory)+'-->' return categoryFinal def urlReplace(url): url = url.replace('&', '&') return url requestsUrl("http://zuimeia.com/community/app/27369/?platform=2") for eachUrl in urlList: eachUrl = url+eachUrl content = requestsUrl(eachUrl) categoryFinal ='' title = content[0][0] category = categornFinal(content[1]) strdescribe = content[2] downloadUrl = urlReplace(content[3][0]) with open('c:/wqa.txt', 'a+') as fd: fd.write('title:'+title+'\n'+'category:'+category+'\n'+'strdescribe:'+strdescribe+'\n'+'downloadUrl:'+downloadUrl+'\n\n\n-----------------------------------------------------------------------------------------------------------------------------\n\n\n')
登录后复制
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章
刺客信条阴影:贝壳谜语解决方案
3 周前
By DDD
Windows 11 KB5054979中的新功能以及如何解决更新问题
2 周前
By DDD
在哪里可以找到原子中的起重机控制钥匙卡
3 周前
By DDD
刺客信条阴影 - 如何找到铁匠,解锁武器和装甲定制
1 个月前
By DDD
<🎜>:死铁路 - 如何完成所有挑战
3 周前
By DDD

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

热门话题

Linux终端中查看Python版本时遇到权限问题的解决方法当你在Linux终端中尝试查看Python的版本时,输入python...

如何在10小时内教计算机小白编程基础?如果你只有10个小时来教计算机小白一些编程知识,你会选择教些什么�...

在使用Python的pandas库时,如何在两个结构不同的DataFrame之间进行整列复制是一个常见的问题。假设我们有两个Dat...

使用FiddlerEverywhere进行中间人读取时如何避免被检测到当你使用FiddlerEverywhere...

Uvicorn是如何持续监听HTTP请求的?Uvicorn是一个基于ASGI的轻量级Web服务器,其核心功能之一便是监听HTTP请求并进�...

本文讨论了诸如Numpy,Pandas,Matplotlib,Scikit-Learn,Tensorflow,Tensorflow,Django,Blask和请求等流行的Python库,并详细介绍了它们在科学计算,数据分析,可视化,机器学习,网络开发和H中的用途

在Python中,如何通过字符串动态创建对象并调用其方法?这是一个常见的编程需求,尤其在需要根据配置或运行...
