在學數據視覺化,缺少點數據進行實操,就想著從餓了麼上面爬點外賣店資訊。
主要是取得數據,所以程式碼比較簡陋,直接上程式碼:
import requests import json import csv def crawler_ele(page=0): def get_page(page): url = 'https://h5.ele.me/restapi/shopping/v3/restaurants?latitude=xxxx&longitude=xxxx&offset={page}&limit=8&terminal=h5'.format(page=page*8) headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36", 'cookie': r'xxxx' } re = json.loads(requests.get(url,headers=headers).text) return re re = get_page(page) if re.get('items'): with open('data.csv','a',newline='') as f: writer = csv.DictWriter(f,fieldnames=['名称', '月销售量','配送费', '起送价', '风味','评分', '配送时长', '评分统计', '距离', '地址']) writer.writeheader() for item in re.get('items'): info = dict() restaurant = item.get('restaurant') info['地址'] = restaurant.get('address') info['配送费'] = restaurant.get('float_delivery_fee') info['名称'] = restaurant.get('name') info['配送时长'] = restaurant.get('order_lead_time') info['距离'] = restaurant.get('distance') info['起送价'] = restaurant.get('float_minimum_order_amount') info['评分'] = restaurant.get('rating') info['月销售量'] = restaurant.get('recent_order_num') info['评分统计'] = restaurant.get('rating_count') info['风味'] = restaurant.get('flavors')[0].get('name') writer.writerow(info) # print(info) if re.get('has_next') == True: crawler_page(page+1) crawler_ele(0)
在這裡簡單註解幾句:
url 中的經緯度去掉了,可以自行查詢增加需要爬取地點的經緯度,也可以透過呼叫地圖api來取得經緯度;
headers 需要加Cookies ,不然會有登入權限限制爬取頁數;
最後呼叫的是遞歸不是循環,所以儲存結果的csv 檔案裡面會有多個重複表頭,可以用Excel 開啟刪除重複值就可以了。
相關教學推薦:Python影片教學
#以上是python爬取餓了麼的詳細內容。更多資訊請關注PHP中文網其他相關文章!