python - Ajout d'un agent utilisateur pour résoudre 403, mais l'utilisation d'urlretrieve provoque ensuite une erreur de correspondance régulière

Question

Je souhaite écrire un petit programme pour télécharger automatiquement la page Web http://www.sse.com.cn/assortm... Le lien de téléchargement à l'intérieur est http://query.sse.com.cn/secur..
Utilisez urllib pour demander 403, j'ai donc ajouté un agent utilisateur et renvoyé 200, mais lors de l'utilisation de urlretrieve, cela a provoqué une erreur de correspondance régulière. Je n'ai pas trouvé la réponse en ligne. Comment pouvez-vous résoudre ce problème ?

Le code est le suivant :

à partir de la demande d'importation urllib

à partir de datetime importer datetime

-- codage:utf-8 --

url = 'http://query.sse.com.cn/secur...'

user_agent = 'Mozilla/5.0 (Linux ; Android 6.0 ; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, comme Gecko) Chrome/55.0.2883.95 Mobile Safari/537.36'

myheaders = {'Utilisateur - Agent' : user_agent}

req = request.Request(url, headers=myheaders)

local = "/Users/Mty/Downloads/s_data/" + str(datetime.now().date()) + " .xls"

request.urlretrieve(req, local)

Rapport d'erreur : 

Traceback (dernier appel le plus récent) :
Fichier "/Users/Mty/PycharmProjects/get_data/date.py", ligne 20, dans <module>

request.urlretrieve(req, local)

Fichier "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/urllib/request.py", ligne 186, dans urlretrieve

url_type, path = splittype(url)

Fichier "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/urllib/parse.py", ligne 861, en splittype

match = _typeprog.match(url)

TypeError : chaîne attendue ou objet de type octets

Answer 1

Utilisez request.build_opener pour ajouter une tête afin de résoudre le problème

myheaders = [('User - Agent', 'Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.17'
                              ' (KHTML, like Gecko) Version/3.1 Safari/525.17'),]
opener = request.build_opener()
opener.addheaders = myheaders
request.install_opener(opener)

request.urlretrieve(url, local)