首頁 後端開發 Python教學 Python模擬登陸淘寶並統計淘寶消費狀況的程式碼實例分享

Python模擬登陸淘寶並統計淘寶消費狀況的程式碼實例分享

Jul 22, 2016 am 08:56 AM
python 淘寶 統計

支付寶十年帳單上的數字有點嚇人,但它統計的項目太多,只是想看看到底單純在淘寶上支出了多少,於是寫了段腳本,統計任意時間段淘寶訂單的消費情況,看那結果其實在淘寶上我還是相當節約的說。
腳本的主要工作是模擬了瀏覽器登錄,解析「已買到的寶貝」頁面以獲得指定的訂單及寶貝資訊。

201674184737787.gif (410×235)

使用方法見程式碼或執行指令加參數-h,另外需要BeautifulSoup4支持,BeautifulSoup的官方專案清單頁:https://www.crummy.com/software/BeautifulSoup/bs4/download/

先來說一下程式碼使用方法:

python taobao.py -u USERNAME -p PASSWORD -s START-DATE -e END-DATE --verbose
登入後複製

所有參數均可選,如:

python taobao.py -u jinnlynn 
登入後複製

統計使用者jinnlynn所有訂單的狀況

python taobao.py -s 2014-12-12 -e 2014-12-12
登入後複製

統計使用者(使用者名稱在指令執行時會要求輸入)在2014-12-12當天的訂單狀況

python taobao.py --verbose
登入後複製

這樣就可以統計並輸出訂單明細。

好了,說了這麼多我們就來看程式碼吧:

from __future__ import unicode_literals, print_function, absolute_import, division
import urllib
import urllib2
import urlparse
import cookielib
import re
import sys
import os
import json
import subprocess
import argparse
import platform
from getpass import getpass
from datetime import datetime
from pprint import pprint

try:
  from bs4 import BeautifulSoup
except ImportError:
  sys.exit('BeautifulSoup4 missing.')

__version__ = '1.0.0'
__author__ = 'JinnLynn'
__copyright__ = 'Copyright (c) 2014 JinnLynn'
__license__ = 'The MIT License'

HEADERS = {
  'x-requestted-with' : 'XMLHttpRequest',
  'Accept-Language' : 'zh-cn',
  'Accept-Encoding' : 'gzip, deflate',
  'ContentType' : 'application/x-www-form-urlencoded; chartset=UTF-8',
  'Cache-Control' : 'no-cache',
  'User-Agent' :'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.38 Safari/537.36',
  'Connection' : 'Keep-Alive'
}

DEFAULT_POST_DATA = {
  'TPL_username' : '', #用户名
  'TPL_password' : '', #密码
  'TPL_checkcode' : '',
  'need_check_code' : 'false',
  'callback' : '0', # 有值返回JSON
}

# 无效订单状态
INVALID_ORDER_STATES = [
  'CREATE_CLOSED_OF_TAOBAO', # 取消
  'TRADE_CLOSED', # 订单关闭
]

LOGIN_URL = 'https://login.taobao.com/member/login.jhtml'

RAW_IMPUT_ENCODING = 'gbk' if platform.system() == 'Windows' else 'utf-8'

def _request(url, data, method='POST'):
  if data:
    data = urllib.urlencode(data)
  if method == 'GET':
    if data:
      url = '{}?{}'.format(url, data)
    data = None
  # print(url)
  # print(data)
  req = urllib2.Request(url, data, HEADERS)
  return urllib2.urlopen(req)

def stdout_cr(msg=''):
  sys.stdout.write('\r{:10}'.format(' '))
  sys.stdout.write('\r{}'.format(msg))
  sys.stdout.flush()

def get(url, data=None):
  return _request(url, data, method='GET')

def post(url, data=None):
  return _request(url, data, method='POST')

def login_post(data):
  login_data = DEFAULT_POST_DATA
  login_data.update(data)
  res = post(LOGIN_URL, login_data)
  return json.load(res, encoding='gbk')

def login(usr, pwd):
  data = {
    'TPL_username' : usr.encode('utf-8' if platform.system() == 'Windows' else 'GB18030'),
    'TPL_password' : pwd
  }

  # 1. 尝试登录
  ret = login_post(data)
  while not ret.get('state', False):
    code = ret.get('data', {}).get('code', 0)
    if code == 3425 or code == 1000:
      print('INFO: {}'.format(ret.get('message')))
      check_code = checkcode(ret.get('data', {}).get('ccurl'))
      data.update({'TPL_checkcode' : check_code, 'need_check_code' : 'true'})
      ret = login_post(data)
    else:
      sys.exit('ERROR. code: {}, message:{}'.format(code, ret.get('message', '')))

  token = ret.get('data', {}).get('token')
  print('LOGIN SUCCESS. token: {}'.format(token))

  # 2. 重定向
  # 2.1 st值
  res = get('https://passport.alipay.com/mini_apply_st.js', {
    'site' : '0',
    'token' : token,
    'callback' : 'stCallback4'})
  content = res.read()
  st = re.search(r'"st":"(\S*)"( |})', content).group(1)
  # 2.1 重定向
  get('http://login.taobao.com/member/vst.htm',
    {'st' : st, 'TPL_uesrname' : usr.encode('GB18030')})

def checkcode(url):
  filename, _ = urllib.urlretrieve(url)
  if not filename.endswith('.jpg'):
    old_fn = filename
    filename = '{}.jpg'.format(filename)
    os.rename(old_fn, filename)
  if platform.system() == 'Darwin':
    # mac 下直接preview打开
    subprocess.call(['open', filename])
  elif platform.system() == 'Windows':
    # windows 执行文件用默认程序打开
    subprocess.call(filename, shell=True)
  else:
    # 其它系统 输出文件名
    print('打开该文件获取验证码: {}'.format(filename))
  return raw_input('输入验证码: '.encode(RAW_IMPUT_ENCODING))

def parse_bought_list(start_date=None, end_date=None):
  url = 'http://buyer.trade.taobao.com/trade/itemlist/list_bought_items.htm'
  #         运费险      增值服务     分段支付(定金,尾款)
  extra_service = ['freight-info', 'service-info', 'stage-item']

  stdout_cr('working... {:.0%}'.format(0))
  # 1. 解析第一页
  res = urllib2.urlopen(url)
  soup = BeautifulSoup(res.read().decode('gbk'))
  # 2. 获取页数相关
  page_jump = soup.find('span', id='J_JumpTo')
  jump_url = page_jump.attrs['data-url']
  url_parts = urlparse.urlparse(jump_url)
  query_data = dict(urlparse.parse_qsl(url_parts.query))
  total_pages = int(query_data['tPage'])

  # 解析
  orders = []
  cur_page = 1
  out_date = False
  errors = []
  while True:
    bought_items = soup.find_all('tbody', attrs={'data-orderid' : True})
    # pprint(len(bought_items))
    count = 0
    for item in bought_items:
      count += 1
      # pprint('{}.{}'.format(cur_page, count))
      try:
        info = {}
        # 订单在页面上的位置 页数.排序号
        info['pos'] = '{}.{}'.format(cur_page, count)
        info['orderid'] = item.attrs['data-orderid']
        info['status'] = item.attrs['data-status']
        # 店铺
        node = item.select('tr.order-hd a.shopname')
        if not node:
          # 店铺不存在,可能是赠送彩票订单,忽略
          # print('ignore')
          continue
        info['shop_name'] = node[0].attrs['title'].strip()
        info['shop_url'] = node[0].attrs['href']
        # 日期
        node = item.select('tr.order-hd span.dealtime')[0]
        info['date'] = datetime.strptime(node.attrs['title'], '%Y-%m-%d %H:%M')

        if end_date and info['date'].toordinal() > end_date.toordinal():
          continue

        if start_date and info['date'].toordinal() < start_date.toordinal():
          out_date = True
          break

        # 宝贝
        baobei = []
        node = item.find_all('tr', class_='order-bd')
        # pprint(len(node))
        for n in node:
          try:
            bb = {}
            if [True for ex in extra_service if ex in n.attrs['class']]:
              # 额外服务处理
              # print('额外服务处理')
              name_node = n.find('td', class_='baobei')
              # 宝贝地址
              bb['name'] = name_node.text.strip()
              bb['url'] = ''
              bb['spec'] = ''
              # 宝贝快照
              bb['snapshot'] = ''
              # 宝贝价格
              bb['price'] = 0.0
              # 宝贝数量
              bb['quantity'] = 1
              bb['is_goods'] = False
              try:
                bb['url'] = name_node.find('a').attrs['href']
                bb['price'] = float(n.find('td', class_='price').text)
              except:
                pass
            else:
              name_node = n.select('p.baobei-name a')
              # 宝贝地址
              bb['name'] = name_node[0].text.strip()
              bb['url'] = name_node[0].attrs['href']
              # 宝贝快照
              bb['snapshot'] = ''
              if len(name_node) > 1:
                bb['snapshot'] = name_node[1].attrs['href']
              # 宝贝规格
              bb['spec'] = n.select('.spec')[0].text.strip()
              # 宝贝价格
              bb['price'] = float(n.find('td', class_='price').attrs['title'])
              # 宝贝数量
              bb['quantity'] = int(n.find('td', class_='quantity').attrs['title'])
              bb['is_goods'] = True
            baobei.append(bb)
            # 尝试获取实付款
            # 实付款所在的节点可能跨越多个tr的td
            amount_node = n.select('td.amount em.real-price')
            if amount_node:
              info['amount'] = float(amount_node[0].text)
          except Exception as e:
            errors.append({
              'type' : 'baobei',
              'id' : '{}.{}'.format(cur_page, count),
              'node' : '{}'.format(n),
              'error' : '{}'.format(e)
            })
      except Exception as e:
        errors.append({
          'type' : 'order',
          'id' : '{}.{}'.format(cur_page, count),
          'node' : '{}'.format(item),
          'error' : '{}'.format(e)
        })

      info['baobei'] = baobei
      orders.append(info)

    stdout_cr('working... {:.0%}'.format(cur_page / total_pages))

    # 下一页
    cur_page += 1
    if cur_page > total_pages or out_date:
      break
    query_data.update({'pageNum' : cur_page})
    page_url = '{}&#63;{}'.format(url, urllib.urlencode(query_data))
    res = urllib2.urlopen(page_url)
    soup = BeautifulSoup(res.read().decode('gbk'))

  stdout_cr()
  if errors:
    print('INFO. 有错误发生,统计结果可能不准确。')
    # pprint(errors)
  return orders

def output(orders, start_date, end_date):
  amount = 0.0
  org_amount = 0
  baobei_count = 0
  order_count = 0
  invaild_order_count = 0
  for order in orders:
    if order['status'] in INVALID_ORDER_STATES:
      invaild_order_count += 1
      continue
    amount += order['amount']
    order_count += 1
    for baobei in order.get('baobei', []):
      if not baobei['is_goods']:
        continue
      org_amount += baobei['price'] * baobei['quantity']
      baobei_count += baobei['quantity']

  print('{:<9} {}'.format('累计消费:', amount))
  print('{:<9} {}/{}'.format('订单/宝贝:', order_count, baobei_count))
  if invaild_order_count:
    print('{:<9} {} (退货或取消等, 不在上述订单之内)'.format('无效订单:', invaild_order_count))
  print('{:<7} {}'.format('宝贝原始总价:', org_amount))
  print('{:<7} {:.2f}'.format('宝贝平均单价:', 0 if baobei_count == 0 else org_amount / baobei_count))
  print('{:<9} {} ({:.2%})'.format('节约了(&#63;):',
                   org_amount - amount,
                   0 if org_amount == 0 else (org_amount - amount) / org_amount))
  from_date = start_date if start_date else orders[-1]['date']
  to_date = end_date if end_date else datetime.now()
  print('{:<9} {:%Y-%m-%d} - {:%Y-%m-%d}'.format('统计区间:', from_date, to_date))
  if not start_date:
    print('{:<9} {:%Y-%m-%d %H:%M}'.format('败家始于:', orders[-1]['date']))

def ouput_orders(orders):
  print('所有订单:')
  if not orders:
    print(' --')
    return
  for order in orders:
    print(' {:-^20}'.format('-'))
    print(' * 订单号: {orderid} 实付款: {amount} 店铺: {shop_name} 时间: {date:%Y-%m-%d %H:%M}'.format(**order))
    for bb in order['baobei']:
      if not bb['is_goods']:
        continue
      print('  - {name}'.format(**bb))
      if bb['spec']:
        print('   {spec}'.format(**bb))
      print('   {price} X {quantity}'.format(**bb))

def main():
  parser = argparse.ArgumentParser(
    prog='python {}'.format(__file__)
  )
  parser.add_argument('-u', '--username', help='淘宝用户名')
  parser.add_argument('-p', '--password', help='淘宝密码')
  parser.add_argument('-s', '--start', help='起始时间,可选, 格式如: 2014-11-11')
  parser.add_argument('-e', '--end', help='结束时间,可选, 格式如: 2014-11-11')
  parser.add_argument('--verbose', action='store_true', default=False, help='订单详细输出')
  parser.add_argument('-v', '--version', action='version',
            version='v{}'.format(__version__), help='版本号')
  args = parser.parse_args()

  usr = args.username
  if not usr:
    usr = raw_input('输入淘宝用户名: '.encode(RAW_IMPUT_ENCODING))
  usr = usr.decode('utf-8') # 中文输入问题
  pwd = args.password
  if not pwd:
    if platform.system() == 'Windows':
      # Windows下中文输出有问题
      pwd = getpass()
    else:
      pwd = getpass('输入淘宝密码: '.encode('utf-8'))

  pwd = pwd.decode('utf-8')

  verbose = args.verbose

  start_date = None
  if args.start:
    try:
      start_date = datetime.strptime(args.start, '%Y-%m-%d')
    except Exception as e:
      sys.exit('ERROR. {}'.format(e))

  end_date = None
  if args.end:
    try:
      end_date = datetime.strptime(args.end, '%Y-%m-%d')
    except Exception as e:
      sys.exit('ERROR. {}'.format(e))

  if start_date and end_date and start_date > end_date:
    sys.exit('ERROR, 结束日期必须晚于或等于开始日期')

  cj_file = './{}.tmp'.format(usr)
  cj = cookielib.LWPCookieJar()
  try:
    cj.load(cj_file)
  except:
    pass
  opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj), urllib2.HTTPHandler)
  urllib2.install_opener(opener)

  login(usr, pwd)

  try:
    cj.save(cj_file)
  except:
    pass

  orders = parse_bought_list(start_date, end_date)
  output(orders, start_date, end_date)

  # 输出订单明细
  if verbose:
    ouput_orders(orders)

if __name__ == '__main__':
  main()
登入後複製

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

<🎜>:泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系統,解釋
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora:巫婆樹的耳語 - 如何解鎖抓鉤
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1666
14
CakePHP 教程
1425
52
Laravel 教程
1325
25
PHP教程
1272
29
C# 教程
1252
24
PHP和Python:解釋了不同的範例 PHP和Python:解釋了不同的範例 Apr 18, 2025 am 12:26 AM

PHP主要是過程式編程,但也支持面向對象編程(OOP);Python支持多種範式,包括OOP、函數式和過程式編程。 PHP適合web開發,Python適用於多種應用,如數據分析和機器學習。

在PHP和Python之間進行選擇:指南 在PHP和Python之間進行選擇:指南 Apr 18, 2025 am 12:24 AM

PHP適合網頁開發和快速原型開發,Python適用於數據科學和機器學習。 1.PHP用於動態網頁開發,語法簡單,適合快速開發。 2.Python語法簡潔,適用於多領域,庫生態系統強大。

sublime怎麼運行代碼python sublime怎麼運行代碼python Apr 16, 2025 am 08:48 AM

在 Sublime Text 中運行 Python 代碼,需先安裝 Python 插件,再創建 .py 文件並編寫代碼,最後按 Ctrl B 運行代碼,輸出會在控制台中顯示。

Python vs. JavaScript:學習曲線和易用性 Python vs. JavaScript:學習曲線和易用性 Apr 16, 2025 am 12:12 AM

Python更適合初學者,學習曲線平緩,語法簡潔;JavaScript適合前端開發,學習曲線較陡,語法靈活。 1.Python語法直觀,適用於數據科學和後端開發。 2.JavaScript靈活,廣泛用於前端和服務器端編程。

PHP和Python:深入了解他們的歷史 PHP和Python:深入了解他們的歷史 Apr 18, 2025 am 12:25 AM

PHP起源於1994年,由RasmusLerdorf開發,最初用於跟踪網站訪問者,逐漸演變為服務器端腳本語言,廣泛應用於網頁開發。 Python由GuidovanRossum於1980年代末開發,1991年首次發布,強調代碼可讀性和簡潔性,適用於科學計算、數據分析等領域。

Golang vs. Python:性能和可伸縮性 Golang vs. Python:性能和可伸縮性 Apr 19, 2025 am 12:18 AM

Golang在性能和可擴展性方面優於Python。 1)Golang的編譯型特性和高效並發模型使其在高並發場景下表現出色。 2)Python作為解釋型語言,執行速度較慢,但通過工具如Cython可優化性能。

vscode在哪寫代碼 vscode在哪寫代碼 Apr 15, 2025 pm 09:54 PM

在 Visual Studio Code(VSCode)中編寫代碼簡單易行,只需安裝 VSCode、創建項目、選擇語言、創建文件、編寫代碼、保存並運行即可。 VSCode 的優點包括跨平台、免費開源、強大功能、擴展豐富,以及輕量快速。

notepad 怎麼運行python notepad 怎麼運行python Apr 16, 2025 pm 07:33 PM

在 Notepad 中運行 Python 代碼需要安裝 Python 可執行文件和 NppExec 插件。安裝 Python 並為其添加 PATH 後,在 NppExec 插件中配置命令為“python”、參數為“{CURRENT_DIRECTORY}{FILE_NAME}”,即可在 Notepad 中通過快捷鍵“F6”運行 Python 代碼。

See all articles