同样的代码在 Notepad 环境(测试过记事本)过不了,在 Pycharm 可以过( Python3.5 )
代码:
import urllib
import urllib.request
url = "http://www.baidu.com"
data = urllib.request.urlopen(url).read()
data = data.decode('UTF-8')
这条语句,两个环境都可以过
data.decode('gbk', 'ignore').encode('UTF-8')
print(data)
在 Pycharm 显示爬出的网页,在 cmd 窗口显示
UnicodeEncodeError: 'gbk' codec can't encode character 'xbb' in position 26830:
illegal multibyte sequence
必须去除无效字符。
import urllib
import urllib.request
url = "http://www.baidu.com"
data = urllib.request.urlopen(url).read()
data.decode('gbk', 'ignore').encode('UTF-8')
print(data)
这样可以过,求解释
你遇到的可能和我一样是python编码问题,或者使用的terminal的编码支持问题。看看下面的问题。
【python编码问题?】分享自@SegmentFault,传送门:/q/10...