python - 如何爬取跳转网站的数据

目前在学习一些爬虫的知识，对于一些复杂的网站使用selenium进行爬取。碰到一个问题，我需要爬取的工单网站（不知道密码）需要先通过登录一个鉴权系统，然后鉴权系统页面点击其中的工单系统连接，就会自动免登录...

怪我咯 2017-05-19 10:07:30 0  2  1058

python - 斗鱼关注人数爬下来是张加载图片，如何爬取关注人数

爬取斗鱼关注人数显示 {代码...} 等网站加载完毕显示 {代码...} 应该如何爬取这种数据？

巴扎黑 2017-07-05 10:34:08 0  1  1017

java如何爬取js处理后的代码

页面地址: http://acm.hdu.edu.cn/showpro... 爬取的目标: 想要爬取这些个公式的代码，Chrome按F12看到的代码: 但是爬取到的代码如下: 这个代码并不能显示正确的公式，貌似这些代码都是js生成的，该如何爬取到这...

为情所困 2017-05-17 10:04:18 0  2  669

Python的os.listdir在获取文件列表时的顺序问题

这是在windows资源管理器中显示的文件顺序 而用os.listdir获得的list顺序是这样子的：['03.jpg', '1.jpg', '2.jpg', '3.jpg', '5.jpg', '6.png', 'test.url'] 请问要怎样才能获得和windows资源管理器顺序一样的文...

PHP中文网 2017-06-28 09:26:11 0  1  1826

php - 大家帮忙看一个爬虫抓取需要数据的正则

A. 待抓取的页面的 html： {代码...} B. 我写的抓取正则： {代码...} $reg_list = "/<div\s*topClassName\='top1'\s*topSwitch\='on'\s*productId\='(\d+)'\s*productName\='[\x7f-\xff]+'\s*class\='productP...

过去多啦不再A梦 2017-05-16 13:16:30 0  2  630

网页爬虫 - 博客园博客中的图片怎么用python爬取下来？

写了一小段代码，爬取博客园博客中的图片，这段代码对部分链接有效，还有一部分链接一爬就报错，这是什么原因呢？ {代码...} 如图，可以正确爬取图片 若把url换为 {代码...} 则立马报错 求解决，谢谢！

某草草 2017-05-18 10:45:39 0  1  948

为什么下载Git-Extension的时候会与exploer.exe进程有冲突

如图显示，我想问一下windows explorer的进程为什么会和git extension有冲突....

某草草 2017-05-02 09:23:05 0  0  647

python - 请教如何爬取简书某一时间段发帖。

我想爬取简书在某一时间段的帖子，比如 2013 年 4 月 13 — 2013 年 5 月 13 想尝试的思路如下： 百度 利用百度的 site 语法 限定日期 观察大约有 70 个帖子 Google google 的 site 语法 限定日期 观察大约有 120 ...

黄舟 2017-05-18 10:55:49 0  1  730

javascript - 为什么我用phantomjs抓取页面，如果页面数据多就抓取不到？

我想抓取一个爱淘宝的搜索页面，它是有js渲染生成的页面，所以我选择用phantomjs抓取。但是在抓取过程中出现一个问题。当搜索结果超过两个的时候，就获取不到数据。但是截图显示数据加载正常。不知道是淘宝做了限...

習慣沉默 2017-07-05 10:50:52 0  1  929

scrapy 如果要爬取整个站的内容，是要把所有页面的URL都获取到队列后才开始提取内容吗

scrapy 如果要爬取整个站的内容，是要把所有页面的URL都获取到队列后才开始提取内容吗？

Laical 2020-04-30 16:05:00 0  0  1071

Windows可以学习吗

Windows可以学习吗

ананас 2020-04-03 18:59:02 0  1  2214

在windows上也可以愉快地玩vim么？

平时基本在windows上，linux都跑在虚拟机里：）赶脚windows上的编辑器不少比vim好用，在windows上找不到用vim的动力，肿么办？ 这里有windows以vim为主要编辑器的盆么？ 躺下经验啊：）

怪我咯 2017-05-16 16:35:17 0  4  749

windows环境安装PHP

windows环境安装PHP

lucia打工人 2023-03-03 18:06:29 0  0  883

windows版有emmet吗？?

windows版有emmet吗？?

缠中惮（三剑喻） 2020-10-21 20:16:47 0  1  1144

windows下的zookeeper扩展

谁有windows下的zookeeper扩展？

李十八 2018-08-23 14:45:37 0  0  1255