使用redis来实现tornado session的分布式存储

WBOY
发布: 2016-06-07 16:41:02
原创
1792 人浏览过

前言: 话说文章转自我的51cto博客里的,xiaorui.cc ! 前两天有人问我tornado到c10,先声明下,我也不知道tornado官方是咋测试的,我自己是没到那种牛逼的抗链接能力,不然咋说,该优化还是优化,EFI要这么较真,可以试着用nginx来处理tornado不太擅长的静

前言:

   话说文章转自我的51cto博客里的,xiaorui.cc !

   前两天有人问我tornado到c10,先声明下,我也不知道tornado官方是咋测试的,我自己是没到那种牛逼的抗链接能力,不然咋说,该优化还是优化,EFI要这么较真,可以试着用nginx来处理tornado不太擅长的静态文件及用多app方案来提高负载均衡的能力。


   我人比较的懒,把接口和平台的页面都做成一个py了,用upstream不好做负载,如果你用ip_hash,或者insert cookie的方式,虽然保证了针对后端服务器的命中,但是哥还就不想命中。

   我还就想rr轮训,为啥? 因为页面上大量的耗时间的io和计算请求,这个时候我总是命中调度到一台服务器,那我就会一直的等待,后面还有一堆的任务也都在同步堵塞着。。。太痛快啦,这个时候就需要rr轮训,session如何的一致性,这个时候就需要一个快速的存储来保证session cookie的存储。

   以前更多是用tornado memcached来存储session或者cookie,因为报警平台中已经在用redis、mongodb这些nosql数据库,没必要再配置memcached了。 这次用我钟爱的redis了。


这里导入了相关的类和库,login_required是装饰器,专门来判断用户登录了没有,没有的话把访问扔给login.html页面。


插入一个广告,最近文章总是被爬虫爬走,这边标记下原文的地址  blog.xiaorui.cc  。  说来也郁闷,我本人也是负责业务爬虫业务的,而且爬虫采用的一些技术也相当的强悍,但是没招呀  。 对方有时候还伪装 spider 。你咋办,你不认真分析,有可能封杀了真正的spider bot 。


#xiaorui.cc
from base import BaseHandler
from tornado.web import HTTPError
def login_required(f):
    def _wrapper(self,*args, **kwargs):
        print self.get_current_user()
        logged = self.get_current_user()
        if logged == None:
            self.write('no login')
            self.finish()
        else:
            ret = f(self,*args, **kwargs)
    return _wrapper
class Application(tornado.web.Application):
    def __init__(self):
        settings = dict(
            cookie_secret = "e446976943b4e8442f099fed1f3fea28462d5832f483a0ed9a3d5d3859f==78d",
            session_secret = "3cdcb1f00803b6e78ab50b466a40b9977db396840c28307f428b25e2277f1bcc",
            session_timeout = 60,
            store_options = {
            'redis_host': 'localhost',
                'redis_port': 6379,
                'redis_pass': '',
        },
        )
        handlers = [
            (r"/", MainHandler),
            (r"", MainHandler),
            (r"/login", LoginHandler)
        ]
        tornado.web.Application.__init__(self, handlers, **settings)
        self.session_manager = session.SessionManager(settings["session_secret"], settings["store_options"], settings["session_timeout"])
登录后复制

关联的两个类:

class MainHandler(BaseHandler):
    @login_required
    def get(self):
        username = self.get_current_user()
        print 'start..'
        print username
        print self.session['nima']
        if username==None:
            self.write('nima')
        else:
            self.write("What's up, " + username + "?")
class LoginHandler(BaseHandler):
    def get(self):
        self.session["user_name"] = self.get_argument("name")
        self.session["nima"] = 'xiaorui.cc'
        self.session.save()
        self.write('你的session已经欧了')
登录后复制

处理session的主要文件

#/usr/bin/python
# coding: utf-8
import uuid
import hmac
import ujson
import hashlib
import redis
class SessionData(dict):
    def __init__(self, session_id, hmac_key):
        self.session_id = session_id
        self.hmac_key = hmac_key
#   @property
#   def sid(self):
#       return self.session_id
#   @x.setter
#   def sid(self, value):
#       self.session_id = value
class Session(SessionData):
    def __init__(self, session_manager, request_handler):
        self.session_manager = session_manager
        self.request_handler = request_handler
        try:
            current_session = session_manager.get(request_handler)
        except InvalidSessionException:
            current_session = session_manager.get()
        for key, data in current_session.iteritems():
            self[key] = data
        self.session_id = current_session.session_id
        self.hmac_key = current_session.hmac_key  def save(self):
        self.session_manager.set(self.request_handler, self)
class SessionManager(object):
    def __init__(self, secret, store_options, session_timeout):
        self.secret = secret
        self.session_timeout = session_timeout
        try:
            if store_options['redis_pass']:
                self.redis = redis.StrictRedis(host=store_options['redis_host'], port=store_options['redis_port'], password=store_options['redis_pass'])
            else:
                self.redis = redis.StrictRedis(host=store_options['redis_host'], port=store_options['redis_port'])
        except Exception as e:
            print e
    def _fetch(self, session_id):
        try:
            session_data = raw_data = self.redis.get(session_id)
            if raw_data != None:
                self.redis.setex(session_id, self.session_timeout, raw_data)
                session_data = ujson.loads(raw_data)
            if type(session_data) == type({}):
                return session_data
            else:
                return {}
        except IOError:
            return {}
    def get(self, request_handler = None):
        if (request_handler == None):
            session_id = None
            hmac_key = None
        else:
            session_id = request_handler.get_secure_cookie("session_id")
            hmac_key = request_handler.get_secure_cookie("verification")
        if session_id == None:
            session_exists = False
            session_id = self._generate_id()
            hmac_key = self._generate_hmac(session_id)
        else:
            session_exists = True
        check_hmac = self._generate_hmac(session_id)
        if hmac_key != check_hmac:
            raise InvalidSessionException()
        session = SessionData(session_id, hmac_key)
        if session_exists:
            session_data = self._fetch(session_id)
            for key, data in session_data.iteritems():
                session[key] = data
        return session
    def set(self, request_handler, session):
        request_handler.set_secure_cookie("session_id", session.session_id)
        request_handler.set_secure_cookie("verification", session.hmac_key)
        session_data = ujson.dumps(dict(session.items()))
        self.redis.setex(session.session_id, self.session_timeout, session_data)
    def _generate_id(self):
        new_id = hashlib.sha256(self.secret + str(uuid.uuid4()))
        return new_id.hexdigest()
    def _generate_hmac(self, session_id):
        return hmac.new(session_id, self.secret, hashlib.sha256).hexdigest()
class InvalidSessionException(Exception):
    pass
登录后复制

这个文章的原文是在 http://blog.xiaorui.cc ,我的文章总是被爬来爬去的。

tornado每个控制器相关的class ~

import tornado.web
import sys
import session
class BaseHandler(tornado.web.RequestHandler):
    def __init__(self, *argc, **argkw):
        super(BaseHandler, self).__init__(*argc, **argkw)
        self.session = session.Session(self.application.session_manager, self)
    def get_current_user(self):
        return self.session.get("user_name")
登录后复制

对于登录注册session:

self.session["user_name"] = self.get_argument("name")
self.session["nima"] = 'xiaorui.cc'
self.session.save()
登录后复制

对于退出登录:

self.session["nima"] =None
self.session.save()
登录后复制

其实就改成None就行了,匹配都在装饰器那边搞好了。

偶了,这就可以了。用之前要配置下相关的组件!
pip install ujson redis
pip install tornado

session.py 代码来自:

git clone https://github.com/zs1621/tornado-redis-session

这老外写的有点简陋,说明几乎没有,还好tornado redis session本身就是不难的东西,看看就能搞定。

单个tornado我现在已经可以顶到1500个长连接不崩溃了,如果加上ngixn做tornado的分发负载,估计连接在6k问题不大。


相关标签:
来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板