首页 > web前端 > html教程 > 在运行爬虫程序时总会出现以下异常_html/css_WEB-ITnose

在运行爬虫程序时总会出现以下异常_html/css_WEB-ITnose

WBOY
发布: 2016-06-24 12:25:32
原创
1182 人浏览过

我写的程序可以运行,但是总会出现以下异常中断运行,然后再运行程序时,就没问题了,很多次了

1.java.net.SocketTimeoutException: Read timed out

2.java.net.SocketTimeoutException: connect timed out

3.java.net.ConnectException: Connection timed out: connect

以上三个异常,经过跟踪确定都是在执行这句代码时出现的:

doc = Jsoup.connect( url)  .data("query", "Java")
 .userAgent("Mozilla") 
 .cookie("auth", "token")
 .timeout(300000)
 .post();
请问各位大神我这是什么个情况,该怎么解决啊?  因为这程序是用来爬取网页数据的,一直要循环加载上万条子网页的 url,是不是因为这个造成的啊?我该怎么解决呢?求各位大虾指点,泣不成声,泣不成声....


回复讨论(解决方案)

网络不稳定或者请求网页过时

你没有用个异常处理
你现在是io操作而且是远程的 
整个运行环境你并不能完全确认是 不会出现问题

所以你至少要捕获异常 并且重新开始你刚才在异常下中断的任务

来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板