今回は、Cookieを自動取得・自動更新する方法
と、Cookieを自動取得・自動更新するための注意事項について、実際の事例をご紹介します。 ソーシャル ネットワーキング サイトの多くの情報を取得するにはログインが必要です。Weibo を例に挙げると、ログインしないと、Big V の上位 10 件の Weibo の投稿しか表示されません。ログイン
状態を維持するには、Cookie が必要です。例として www.weibo.cn へのログインを考えてみましょう: コンソールのヘッダーのリクエストの戻り値を分析すると、weibo.cn に返された Cookie のセットがいくつかあることがわかります。
実装手順: 1. Selenium を使用して自動的にログインし、Cookie を取得してファイルに保存します。
2. Cookie を読み取り、Cookie の有効期限を比較します。有効期限が切れている場合は、ステップ 1 を再度実行します。 3. 他の Web ページをリクエストするときは、ログイン状態を維持するために Cookie を入力します。
1. オンラインでクッキーを入手
Selenium + PhantomJS を使用してブラウザーのログインをシミュレートし、Cookie を取得します。 通常は複数の Cookie があり、Cookie は .weibo という接尾辞が付いたファイルに 1 つずつ保存されます。
りー2. ファイルから Cookie を取得します
現在のディレクトリから .weibo で終わるファイル、つまり Cookie ファイルをトラバースします。 pickle を使用して辞書に解凍し、有効期限値を現在の時刻と比較し、期限切れの場合は空を返します
def get_cookie_from_network(): from selenium import webdriver url_login = 'http://login.weibo.cn/login/' driver = webdriver.PhantomJS() driver.get(url_login) driver.find_element_by_xpath('//input[@type="text"]').send_keys('your_weibo_accout') # 改成你的微博账号 driver.find_element_by_xpath('//input[@type="password"]').send_keys('your_weibo_password') # 改成你的微博密码 driver.find_element_by_xpath('//input[@type="submit"]').click() # 点击登录 # 获得 cookie信息 cookie_list = driver.get_cookies() print cookie_list cookie_dict = {} for cookie in cookie_list: #写入文件 f = open(cookie['name']+'.weibo','w') pickle.dump(cookie, f) f.close() if cookie.has_key('name') and cookie.has_key('value'): cookie_dict[cookie['name']] = cookie['value'] return cookie_dict
; 3.
キャッシュCookieの有効期限が切れたら、再度ネットワークからCookieを取得します
def get_cookie_from_cache(): cookie_dict = {} for parent, dirnames, filenames in os.walk('./'): for filename in filenames: if filename.endswith('.weibo'): print filename with open(self.dir_temp + filename, 'r') as f: d = pickle.load(f) if d.has_key('name') and d.has_key('value') and d.has_key('expiry'): expiry_date = int(d['expiry']) if expiry_date > (int)(time.time()): cookie_dict[d['name']] = d['value'] else: return {} return cookie_dict
4. Cookie を使用して他の Weibo ホームページをリクエストします
def get_cookie(): cookie_dict = get_cookie_from_cache() if not cookie_dict: cookie_dict = get_cookie_from_network() return cookie_dict
この記事の事例を読んだ後は、この方法を習得したと思います。さらに興味深い情報については、PHP 中国語 Web サイトの他の関連記事に注目してください。 推奨読書:
vue が xe-utils 関数ライブラリを使用する手順の詳細な説明 プロジェクトをパッケージ化した後に Vue が表示を更新するときに 404 に対処する方法
以上がCookieを自動的に取得および更新する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。