Python的网络编程库Gevent的安装及使用技巧-Python教程-PHP中文网

首页

后端开发

Python教程

Python的网络编程库Gevent的安装及使用技巧

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jul 06, 2016 pm 01:29 PM

gevent python 并发进程

安装（以CentOS为例）
gevent依赖libevent和greenlet：
1.安装libevent
直接yum install libevent
然后配置python的安装
2.安装easy_install
（1）

wget -q http://peak.telecommunity.com/dist/ez_setup.py

登录后复制

（2）使用

python ez_setup.py

登录后复制

（3）使用easy_install 查看命令是否可用，如果不可用可以讲路径加入到PATH中
3.安装greenlet
（1）

yum install python-devel

登录后复制

（2）

easy_install greenlet

登录后复制

4.安装gevent

pip install cython -e git://github.com/surfly/gevent.git@1.0rc2#egg=gevent

登录后复制

使用技巧
Gevent库性能很高，但一直以来我都纠结在python的GIL模型导致的线程不能抢占多核资源上面。
而启动多个python进程的这种利用多核的模式又需要增加前端负载均衡，比如lvs那些，有些麻烦。
multiprocessing模块和os.fork又会使得两个进程重复在事件核心注册accept事件，导致文件句柄重复的异常。
至于一个进程监听，多个进程处理的模式，监听的那个进程资源又不好分配——是独立分配一个核心还是不单独分配呢？如果单独分配，连接量小的时候就浪费了一个核心，如果不分配，连接量大的时候cpu又会频繁切换进程。
昨日才发现原来gevent是可以很轻松地将它的网络模型分布到多个进程并行处理的。
秘诀就在gevent.fork()。
以前想当然地认为gevent.fork只是greenlet.spawn的一个包装，原来不是这样。gevent.fork能替代os.fork，不仅会启动一个新的进程，而且能将它们底层的事件处理沟通起来，进行并行处理。

import gevent
from gevent.server import StreamServer

def eat_cpu():
  for i in xrange(10000): pass

def cb(socket, address):
  eat_cpu()
  socket.recv(1024)
  socket.sendall('HTTP/1.1 200 OK\n\nHello World!!')
  socket.close()

server = StreamServer(('',80), cb, backlog=100000)
server.pre_start()

gevent.fork()

server.start_accepting()
server._stopped_event.wait()

登录后复制

打上monkey.patch_os后，os.fork就可以被gevent.fork替代了，这样同时multiprocessing模块也可以像往常一样使用，并达到并行处理的效果了。

from gevent import monkey; monkey.patch_os()
from gevent.server import StreamServer
from multiprocessing import Process

def eat_cpu(): 
  for i in xrange(10000): pass

def cb(socket, address):
  eat_cpu()
  socket.recv(1024)
  socket.sendall('HTTP/1.1 200 OK\n\nHello World!!')
  socket.close()

server = StreamServer(('',80), cb, backlog=100000)
server.pre_start()

def serve_forever():
  server.start_accepting()
  server._stopped_event.wait()

process_count = 4

for i in range(process_count - 1):
  Process(target=serve_forever, args=tuple()).start()

serve_forever()

登录后复制

本站声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

热AI工具

Undresser.AI Undress

人工智能驱动的应用程序，用于创建逼真的裸体照片

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

免费脱衣服图片

Clothoff.io

AI脱衣机

AI Hentai Generator

免费生成ai无尽的。

显示更多

热工具

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

中文版，非常好用

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

显示更多

热门话题

gmail邮箱登陆入口在哪里

7316

Java教程

1625

CakePHP 教程

1349

Laravel 教程

1261

PHP教程

1208

显示更多

Related knowledge

Google AI 为开发者发布 Gemini 1.5 Pro 和 Gemma 2 Jul 01, 2024 am 07:22 AM

从 Gemini 1.5 Pro 大语言模型 (LLM) 开始，Google AI 已开始为开发人员提供扩展上下文窗口和节省成本的功能。以前可通过等候名单获得完整的 200 万个代币上下文窗口

怎么下载deepseek 小米 Feb 19, 2025 pm 05:27 PM

如何下载 DeepSeek 小米？在小米应用商店搜索“DeepSeek”，如未找到，则继续步骤 2。确定您的需求（搜索文件、数据分析），并找到包含 DeepSeek 功能的相应工具（如文件管理器、数据分析软件）。

deepseek怎么问他 Feb 19, 2025 pm 04:42 PM

有效使用DeepSeek的关键在于清晰提问：直接、具体地表达问题。提供具体细节和背景信息。对于复杂的询问，包含多个角度和反驳观点。关注特定方面，例如代码的性能瓶颈。对得到的答案保持批判性思维，结合专业知识进行判断。

deepseek该怎么搜索 Feb 19, 2025 pm 05:18 PM

直接使用DeepSeek自带的搜索功能即可，它强大的语义分析算法能准确理解搜索意图，提供相关信息。但对于冷门领域、最新信息或需要思考问题的搜索，需要调整关键词或使用更具体的描述、结合其他实时信息来源，并明白DeepSeek只是一个工具，需要主动、清晰、精细的搜索策略。

deepseek怎么编程 Feb 19, 2025 pm 05:36 PM

DeepSeek并非编程语言，而是深度搜索概念。实现DeepSeek需基于现有语言选择。针对不同应用场景，需要选择合适的语言和算法，并结合机器学习技术。代码质量、可维护性、测试至关重要。根据需求选择合适的编程语言、算法和工具，并编写高质量代码，才能成功实现DeepSeek。

deepseek怎么用来算账 Feb 19, 2025 pm 04:36 PM

问题：DeepSeek是否可用于会计？回答：不是，它是一个数据挖掘和分析工具，可用于分析财务数据，但本身不具备会计软件的账目记录和报表生成功能。使用DeepSeek分析财务数据需要：编写代码来处理数据具备对数据结构、算法和DeepSeek API的了解考虑潜在的问题（例如，编程知识、学习曲线、数据质量）