Python 네트워크 프로그래밍 - IO 다중화를 위한 epoll

epoll이란

epoll이란 무엇인가요? Linux 네트워크 프로그래밍에서는 오랫동안 이벤트 트리거에 select가 사용되었습니다. 새로운 Linux 커널에는 이를 대체하는 메커니즘이 있는데, 바로 epoll입니다. 물론 이것은 2.6 커널에만 있는 것은 아닙니다(epoll(4)는 Linux 커널 2.5.44에 도입된 새로운 API입니다). Linux2.6에서 가장 성능이 뛰어난 다중화 I/O 준비 알림 방법으로 인식되었습니다.

Select와 비교했을 때 epoll의 가장 큰 장점은 청취 fd 수가 증가하더라도 효율성이 떨어지지 않는다는 것입니다. 커널의 선택 구현에서는 폴링을 통해 처리되기 때문에 더 많은 fd가 폴링될수록 더 많은 시간이 소요됩니다.

epoll 작동 방식

epoll은 또한 준비된 파일 설명자에만 알림을 보내고 준비된 파일 설명자를 얻기 위해 epoll_wait()를 호출할 때 반환되는 것은 실제 설명자가 아니라 A 값입니다. 준비된 설명자 수를 나타냅니다. epoll이 지정한 배열에서 해당 수의 파일 설명자를 순서대로 가져오면 됩니다. 여기에는 메모리 매핑(mmap) 기술도 사용되므로 이러한 파일 설명의 오버헤드가 완전히 제거됩니다. 시스템 호출 중.

epoll이 이벤트 기반 준비 상태 알림 방법을 채택한다는 또 다른 중요한 개선 사항이 있습니다. select/poll에서는 프로세스가 특정 메서드를 호출한 후에만 커널이 모니터링되는 모든 파일 설명자를 검색하는 반면, epoll은 epoll_ctl()을 통해 미리 파일 설명자를 등록하면 특정 파일 설명자가 준비되면 커널은 콜백 메커니즘을 사용합니다. 이 파일 설명자를 빠르게 활성화하기 위한 콜백과 유사하며 프로세스가 epoll_wait()를 호출할 때 알림을 받습니다.

위에서 볼 수 있듯이 epoll은 select 및 poll 모델을 개선한 것으로, 네트워크 프로그래밍의 성능을 향상시키며 C/S 아키텍처에서 널리 사용됩니다. 대규모 동시 요청이 있는 경우.

파이썬에서의 epoll

1. 트리거 방법:

에지 트리거/수평 트리거, Unix/Linux 운영 체제에만 적용 가능

2.

3. 일반 단계

epoll 개체 만들기——epoll 개체 만들기

epoll 개체에 특정 이벤트를 모니터링하도록 지시 특정 소켓——지정된 소켓에서 지정된 이벤트를 수신하도록 epoll 개체에 지시

마지막 쿼리 이후 어떤 소켓에 지정된 이벤트가 있었을 수 있는지 epoll 개체에 묻습니다.——마지막 쿼리 이후 epoll 개체에 묻습니다. query 쿼리 이후 어떤 소켓에서 어떤 이벤트가 발생했는지

해당 소켓에서 일부 작업 수행——이 소켓에서 일부 작업 수행

epoll 개체에 소켓 목록을 수정하고 / 또는 모니터링할 이벤트 - epoll 개체에 알리고, 소켓 목록 및/또는 이벤트를 수정하고, 모니터링

완료될 때까지 3~5단계 반복 - 완료될 때까지 3~5단계 반복

삭제 epoll 객체——epoll 객체 삭제

4. 관련 사용법

import select Import select module

epoll = select.epoll()은 epoll 객체를 생성합니다

epoll.register(파일 핸들, 이벤트 유형)는 모니터링할 파일 핸들과 이벤트를 등록합니다.

이벤트 유형:

select.EPOLLIN 읽기 가능한 이벤트

EPOLLOUT을 선택합니다. 쓰기 가능 이벤트

select.EPOLLERR 오류 이벤트

select.EPOLLHUP 클라이언트 연결 해제 이벤트

epoll.unregister(파일 핸들) 파일 핸들 삭제

epoll.poll(timeout) 파일 핸들이 변경되면 목록 형식으로 사용자 프로세스에 적극적으로 보고됩니다. timeout

은 시간 초과이며 기본값은 -1입니다. 파일 핸들이 발생할 때까지 기다리는 것을 의미합니다.

그러면 EPOLL은 1초마다 현재 파일 핸들의 변경 사항을 보고합니다. (epoll 제어 파일 설명자를 반환합니다)

epoll.modfiy(fineno,event)fineno는 파일 설명자입니다. event는 이벤트 유형입니다. 해당 기능은 파일 설명자

epoll.fromfd(fileno)에 해당하는 이벤트를 수정하는 것입니다. 파일 디스크립터

epoll.close() epoll 객체의 제어 파일 디스크립터를 닫습니다.

5 예: 클라이언트가 서버로 데이터를 보냅니다. 받은 데이터를 클라이언트로 반환합니다

Server 코드

클라이언트 코드:

#!/usr/bin/env python
#-*- coding:utf-8 -*-
import socket
import select
import Queue
#创建socket对象
serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
#设置IP地址复用
serversocket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
#ip地址和端口号
server_address = ("127.0.0.1", 8888)
#绑定IP地址
serversocket.bind(server_address)
#监听，并设置最大连接数
serversocket.listen(10)
print  "服务器启动成功，监听IP：" , server_address
#服务端设置非阻塞
serversocket.setblocking(False)  
#超时时间
timeout = 10
#创建epoll事件对象，后续要监控的事件添加到其中
epoll = select.epoll()
#注册服务器监听fd到等待读事件集合
epoll.register(serversocket.fileno(), select.EPOLLIN)
#保存连接客户端消息的字典，格式为{}
message_queues = {}
#文件句柄到所对应对象的字典，格式为{句柄：对象}
fd_to_socket = {serversocket.fileno():serversocket,}
while True:
  print "等待活动连接......"
  #轮询注册的事件集合，返回值为[(文件句柄，对应的事件)，(...),....]
  events = epoll.poll(timeout)
  if not events:
     print "epoll超时无活动连接，重新轮询......"
     continue
  print "有" , len(events), "个新事件，开始处理......"
   
  for fd, event in events:
     socket = fd_to_socket[fd]
     #如果活动socket为当前服务器socket，表示有新连接
     if socket == serversocket:
            connection, address = serversocket.accept()
            print "新连接：" , address
            #新连接socket设置为非阻塞
            connection.setblocking(False)
            #注册新连接fd到待读事件集合
            epoll.register(connection.fileno(), select.EPOLLIN)
            #把新连接的文件句柄以及对象保存到字典
            fd_to_socket[connection.fileno()] = connection
            #以新连接的对象为键值，值存储在队列中，保存每个连接的信息
            message_queues[connection]  = Queue.Queue()
     #关闭事件
     elif event & select.EPOLLHUP:
        print 'client close'
        #在epoll中注销客户端的文件句柄
        epoll.unregister(fd)
        #关闭客户端的文件句柄
        fd_to_socket[fd].close()
        #在字典中删除与已关闭客户端相关的信息
        del fd_to_socket[fd]
     #可读事件
     elif event & select.EPOLLIN:
        #接收数据
        data = socket.recv(1024)
        if data:
           print "收到数据：" , data , "客户端：" , socket.getpeername()
           #将数据放入对应客户端的字典
           message_queues[socket].put(data)
           #修改读取到消息的连接到等待写事件集合(即对应客户端收到消息后，再将其fd修改并加入写事件集合)
           epoll.modify(fd, select.EPOLLOUT)
     #可写事件
     elif event & select.EPOLLOUT:
        try:
           #从字典中获取对应客户端的信息
           msg = message_queues[socket].get_nowait()
        except Queue.Empty:
           print socket.getpeername() , " queue empty"
           #修改文件句柄为读事件
           epoll.modify(fd, select.EPOLLIN)
        else :
           print "发送数据：" , data , "客户端：" , socket.getpeername()
           #发送数据
           socket.send(msg)
#在epoll中注销服务端文件句柄
epoll.unregister(serversocket.fileno())
#关闭epoll
epoll.close()
#关闭服务器socket
serversocket.close()

#!/usr/bin/env python
#-*- coding:utf-8 -*-
import socket
#创建客户端socket对象
clientsocket = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
#服务端IP地址和端口号元组
server_address = ('127.0.0.1',8888)
#客户端连接指定的IP地址和端口号
clientsocket.connect(server_address)
while True:
    #输入数据
    data = raw_input('please input:')
    #客户端发送数据
    clientsocket.sendall(data)
    #客户端接收数据
    server_data = clientsocket.recv(1024)
    print '客户端收到的数据：'server_data
    #关闭客户端socket
    clientsocket.close()