网页爬虫 - python requests 爬取网页出现 IncompleteRead(2048 bytes read))

Question

requests.exceptions.ChunkedEncodingError: ('Connection broken: IncompleteRead(2048 bytes read)', IncompleteRead(2048 bytes read))

这个错误出现的时间不固定，有时几分钟就出现了 有时几个小时才出现

Answer 1

可能是chunked編碼不完整所導致的。
詳情請見這裡：http://blog.csdn.net/wangzuxi/article/details/40377467

Answer 2

典型的一個緩衝區的大小。實際上IncompleteRead是python原生程式庫httplib的異常。

HTTP通道回傳0位元組，或是回傳一定位元組後卡住太正常了。如果傳回資料的可靠性很重要，請注意設定合理的逾時並捕獲相關的錯誤，如有必要甚至可以考慮手動驗證HTTP頭資料的Content-Length欄位。