@作者: 良い気性
'''
import urllib2
import urllib
import cookielib
import re
import bs4
URL_BAIDU_INDEX = u'http://www.baidu.com/';
#https://passport.baidu.com/v2/api/?getapi&class=login&tpl=mn&tangram=true これも使用できます
URL_BAIDU_TOKEN = 'https://passport.baidu.com/v2/api/?getapi&tpl=pp&apiver=v3&class=login';
URL_BAIDU_LOGIN = 'https://passport.baidu.com/v2/api/ ?login';
#ユーザー名とパスワードを設定します
username = '';
password = '';
#cookiejar を自動的に管理できるクッキーを設定します。手動で指定するには、
cj = cookielib.CookieJar();
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj));
urllib2.install_opener(opener);
reqReturn = urllib2.urlopen( URL_BAIDU_INDEX);
#トークンを取得,
tokenReturn = urllib2.urlopen(URL_BAIDU_TOKEN);
matchVal = re.search(u'"token" : "(?P
tokenVal = matchVal.group('tokenVal');
#ログイン リクエスト パラメーターを構築します。リクエスト データは、https に対応するパケット キャプチャを通じて取得されます。 ://passport.baidu.com/v2/api/?login request
postData = {
'username' : ユーザー名,
'password' : パスワード,
'u' : 'https: //passport.baidu .com/',
'tpl' : 'pp',
'token' : tokenVal,
'staticpage' : 'https://passport.baidu.com/static/ passpc-account/html /v3Jump.html',
'isPhone' : 'false',
'charset' : 'UTF-8',
'callback' : 'parent.bd__pcbs__ra48vi'
};
postData = urllib.urlencode(postData);
#ログイン要求を送信
loginRequest = urllib2.Request(URL_BAIDU_LOGIN,postData);
loginRequest.add_header('Accept',' text/html,application /xhtml+xml,application/xml;q=0.9,*/*;q=0.8');
loginRequest.add_header('Accept-Encoding','gzip,deflate,sdch');
loginRequest.add_header('Accept-Language','zh-CN,zh;q=0.8');
loginRequest.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML、Gecko など) Chrome/28.0.1500.72 Safari/537.36');
loginRequest.add_header('Content-Type','application/x-www-form-urlencoded');
sendPost = urllib2.urlopen(loginRequest);
# Tieba の個人ホームページを確認し、ログインが成功したかどうかをテストします。自動 Cookie 管理により、ここでの処理がはるかに簡単になります。
#http://tieba. baidu.com/home/main?un= XXXX&fr=index これは Tieba の個人ホームページです。すべての情報はここでご覧いただけます。
reibaUrl = 'http://tieba.baidu.com/f/like/mylike?v=1387441831248 '
content = urllib2 .urlopen(reibaUrl).read();
content = content.decode('gbk').encode('utf8');
コンテンツを印刷;
#データの解析では、BeautifulSoup4 を使用しましたが、これは jsoup ほど優れていません。
soup = bs4.BeautifulSoup(content);
list =Soup.findAll('tr');
list = list[ 1:len(list)];
careTeibalist = [];
print 'Tieba link tbar name tlevel';
for elem in list:
Soup1 = bs4.BeautifulSoup(str( elem ));
print 'http://tieba.baidu.com/'+soup1.find('a')['href']+'t'+soup1.find('a')['title ' ]+'t'+soup1.find('a',{'class','like_badge'})['title'];