Es ist lange her, seit ich das letzte Mal einen Crawler-Artikel geschrieben habe, um alle Helden-Skins von Honor of Kings zu crawlen , und die Resonanz war groß, darunter viele Studenten hoffen, dass ich einen weiteren Artikel über Skin Crawling für die offizielle League of Legends-Website schreiben werde, aber aufgrund der vielen Dinge, die es zu tun gibt, habe ich es bis jetzt immer wieder aufgeschoben. In diesem Artikel erfahren Sie, wie Sie die gesamte League of Legends-Helden-Skin crawlen.
Das Crawlen des Codes ist sehr einfach. Möglicherweise müssen Sie nur etwa 30 Zeilen von oben nach unten schreiben, aber das Wichtigste ist der Analyseprozess. Lassen Sie uns zunächst die Module verstehen, die wir in diesem Artikel verwenden müssen. Einführung in das AnforderungsmodulDas erste ist das Anforderungsmodul, ein Modul, das Browseranforderungen simuliert. Wir können es verwenden, um Informationen auf der Webseite abzurufen, z. B. Baidu:
Durch get Die -Funktion kann eine Anfrage an die URL mit angegebenen Parametern senden. Das erhaltene Antwortobjekt enthält viele Antwortinformationen. Beachten Sie, dass es sich um den Antwortinhalt handelt Der erhaltene Inhalt enthält verstümmelte Zeichen. Dies wird durch inkonsistente Kodierung und Dekodierung verursacht. Rufen Sie einfach zuerst die Binärdaten ab und dekodieren Sie sie dann erneut:
🎜🎜JSON-Modul🎜🎜JSON-Modul kann JSON-Strings und Python-Datentypen ineinander und voneinander konvertieren , wie zum Beispiel das Konvertieren von JSON in Python-Objekte: 🎜
🎜Und wenn Sie Python-Daten konvertieren möchten Ein JSON-String ist auch sehr einfach: 🎜
import requestsimport jsonimport osimport tracebackfrom tqdm import tqdmdef spider_lol():
# 定义一个列表，用于存放英雄名称和对应的id
hero_id = []
skins = []
url = 'https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js?v=20'
response = requests.get(url)
text = response.text # 将json字符串转为列表
hero_list = json.loads(text)['hero']
# 遍历列表
for hero in hero_list:
# 定义一个字典
hero_dict = {'name': hero['name'], 'id': hero['heroId']}
# 将列表加入字典
hero_id.append(hero_dict)
# 得到每个英雄对应的id后，即可获得英雄对应皮肤的url
# 英雄id + 001
# 遍历列表
for hero in hero_id:
# 得到英雄名字
hero_name = hero['name']
# 得到英雄id
hero_id = hero['id']
# 创建文件夹
os.mkdir('C:/Users/Administrator/Desktop/lol/' + hero_name)
# 进入文件夹
os.chdir('C:/Users/Administrator/Desktop/lol/' + hero_name)
# 得到id后即可拼接存储该英雄信息的url
hero_info_url = 'https://game.gtimg.cn/images/lol/act/img/js/hero/' + hero_id + '.js'
# 通过访问该url获取英雄的皮肤数量
text = requests.get(hero_info_url).text
info_list = json.loads(text)
# 得到皮肤名称
skin_info_list = info_list['skins']
skins.clear()
for skin in skin_info_list:
skins.append(skin['name'])
# 获得皮肤数量
skins_num = len(skin_info_list)
# 获得皮肤数量后，即可拼接皮肤的url，如：安妮的皮肤url为：
# https://game.gtimg.cn/images/lol/act/img/skin/big1000.jpg ~ https://game.gtimg.cn/images/lol/act/img/skin/big1012
s = ''
for i in tqdm(range(skins_num), '正在爬取' + hero_name + '的皮肤'):
if len(str(i)) == 1:
s = '00' + str(i)
elif len(str(i)) == 2:
s = '0' + str(i)
elif len(str(i)) == 3:
pass
try:
# 拼接皮肤url
skin_url = 'https://game.gtimg.cn/images/lol/act/img/skin/big' + hero_id + '' + s + '.jpg'
# 访问当前皮肤url
im = requests.get(skin_url)
except:
# 某些英雄的炫彩皮肤没有url，所以直接终止当前url的爬取，进入下一个
continue
# 保存图片
if im.status_code == 200:
# 判断图片名称中是否带有'/'、'\'
if '/' in skins[i] or '\' in skins[i]:
skins[i] = skins[i].replace('/', '')
skins[i] = skins[i].replace('\', '')
with open(skins[i] + '.jpg', 'wb') as f:
f.write(im.content)def main():
try:
spider_lol()
except Exception as e:
# 打印异常信息
print(e)if __name__ == '__main__':
main()
Nach dem Login kopieren
🎜Übergeben Die Funktion dumps kann Python-Daten in einen JSON-String konvertieren. Das laufende Ergebnis ist: 🎜rrreee🎜Vorbereitung🎜🎜Die beiden Module wurden zuvor eingeführt Mit diesen beiden Modulen können wir dieses Programm abschließen. 🎜 Bevor wir offiziell mit dem Schreiben von Code beginnen, müssen wir zunächst die Datenquelle analysieren, zur offiziellen Website gehen: https://lol.qq.com/main.shtml, nach unten scrollen, um die Heldenliste zu finden: 🎜🎜 Wir können auf einen Helden klicken, um Folgendes anzuzeigen: 🎜🎜 Klicken Sie mit der rechten Maustaste auf das Skin-Bild, um Folgendes zu überprüfen: 🎜 Auf diese Weise haben wir das gefunden URL dieses Skins, und wir werden den zweiten Skin auswählen, schauen Sie sich dessen URL an: 🎜🎜 Werfen wir einen Blick auf alle URLs für Annies Skins: 🎜rrreee🎜Welche Muster können unter diesen URLs gefunden werden? Tatsächlich ist das Muster sehr offensichtlich. Der Inhalt vor der URL ist derselbe. Der einzige Unterschied ist big1000.jpg, und jedes Skin-Bild fügt 1 zur URL hinzu. 🎜🎜Dann stellt sich die Frage: Woran erkennt man den Helden, zu dem dieses Bild gehört? Schauen wir uns die Adresse oben im Browser an: 🎜🎜 Die Adresse enthält eine Attributwert-ID, sodass wir erraten können, ob big1000.jpg in der Skin-Bild-URL aus der Helden-ID und der Skin-ID besteht? 🎜🎜Um unsere Vermutung zu beweisen, müssen wir sehen, ob andere Helden-Skins diese Bedingung ebenfalls erfüllen: 🎜🎜 Öffnen Sie Jhins Detailseite, deren ID 202 ist. Daher sollte der letzte Teil von Jhins Skin-Bild-URL lauten: big ' + 202 + 'Skin number.jpg code>, also sollte seine URL sein: 🎜<div class="code" style="position:relative; padding:0px; margin:0px;"><div class="code" style="position:relative; padding:0px; margin:0px;"><pre class="brush:php;toolbar:false">https://game.gtimg.cn/images/lol/act/img/skin/big202000.jpg
https://game.gtimg.cn/images/lol/act/img/skin/big202001.jpg
https://game.gtimg.cn/images/lol/act/img/skin/big202002.jpg
https://game.gtimg.cn/images/lol/act/img/skin/big202003.jpg
https://game.gtimg.cn/images/lol/act/img/skin/big202004.jpg
https://game.gtimg.cn/images/lol/act/img/skin/big202005.jpg</pre><div class="contentsignin">Nach dem Login kopieren</div></div><div class="contentsignin">Nach dem Login kopieren</div></div>
<p>事实是不是如此呢？检查一下便知：<br><img src="https://img.php.cn/upload/article/000/000/052/8a088b8b7801a5dcd55ff7ec017d4383-8.png" alt="Fantastisch, 30 Zeilen Python-Code zum Crawlen aller Helden-Skins in League of Legends"><br> 规律已经找到，但是我们还面临着诸多问题，比如每个英雄对应的id是多少呢？每个英雄又分别有多少个皮肤呢？</p>
<h1>查询英雄id</h1>
<p>先来解决第一个问题，每个英雄对应的id是多少？我们只能从官网首页中找找线索，在首页位置打开网络调试台：<br><img src="https://img.php.cn/upload/article/000/000/052/3a07d9090037be97ac4ae898f01fc048-9.png" alt="Fantastisch, 30 Zeilen Python-Code zum Crawlen aller Helden-Skins in League of Legends"><br> 点击Network，并选中XHR，XHR是浏览器与服务器请求数据所依赖的对象，所以通过它便能筛选出一些服务器的响应数据。<br> 此时我们刷新页面，在筛选出的内容发现了这么一个东西：<br><img src="https://img.php.cn/upload/article/000/000/052/3a07d9090037be97ac4ae898f01fc048-10.png" alt="Fantastisch, 30 Zeilen Python-Code zum Crawlen aller Helden-Skins in League of Legends"><br><code>hero_list，英雄列表？这里面会不会存储着所有英雄的信息呢？ 点击右侧的Response，得到了一串json字符串，我们将其解析一下： 这些数据里果然存储的是英雄的信息，包括名字、id、介绍等等，那么接下来我们的任务就是将英雄名字和id单独提取出来，过滤掉其它信息。
Das obige ist der detaillierte Inhalt vonFantastisch, 30 Zeilen Python-Code zum Crawlen aller Helden-Skins in League of Legends. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Durch 
🎜🎜JSON-Modul🎜🎜JSON-Modul kann JSON-Strings und Python-Datentypen ineinander und voneinander konvertieren , wie zum Beispiel das Konvertieren von JSON in Python-Objekte: 🎜
🎜 Auf diese Weise haben wir das gefunden URL dieses Skins, und wir werden den zweiten Skin auswählen, schauen Sie sich dessen URL an: 🎜
🎜 Werfen wir einen Blick auf alle URLs für Annies Skins: 🎜rrreee🎜Welche Muster können unter diesen URLs gefunden werden? Tatsächlich ist das Muster sehr offensichtlich. Der Inhalt vor der URL ist derselbe. Der einzige Unterschied ist 
🎜 Öffnen Sie Jhins Detailseite, deren ID 202 ist. Daher sollte der letzte Teil von Jhins Skin-Bild-URL lauten: 
