IO 버퍼 관리 예시에 대한 자세한 설명

Linux 시스템 IO의 쓰기 프로토타입은 ssize_t write(int filedes, const void * buff, size_t nbytes);

데이터 쓰기를 위해 쓰기를 호출할 때 쓰기는 호출이 완료된 직후에 반환되지만 디스크는 느린 장치인 경우 운영 체제는 데이터를 커널의 버퍼에 저장하고 데이터를 디스크에 비동기적으로 쓰는 일을 담당합니다. 물론 이때 시스템이 다운되면 데이터가 손실됩니다. 쓰기는 시스템 호출이며 각 호출은 커널을 트랩하므로 적절한 블록 길이 버프 크기를 선택하고 해당 호출을 최소화하면 효율성을 최적화할 수 있습니다. ANSI C의 표준 IO에서는 printf/fprintf/fputs 등을 호출하면 스트림에서 처리됩니다. 표준 IO 라이브러리가 처리하기 때문에 쓰기와 같은 버프 크기를 선택하는 대신 스트림에 쓰기만 하면 됩니다. 버퍼 할당, 최적화된 길이로 IO 수행 등과 같은 많은 세부 사항이 있습니다. 이렇게 하면 쓰기/읽기 시스템 호출 수가 줄어들고 효율성이 향상됩니다. 그러나 동시에 또 다른 문제가 발생합니다. 예를 들어 fgets 및 fputs 함수를 사용할 때 일반적으로 두 개의 버퍼를 거쳐야 합니다. 하나는 표준 IO 버퍼이고 다른 하나는 커널 버퍼입니다. 읽기 및 쓰기를 호출합니다. 그러나 일반적으로 표준 IO를 사용하면 시스템 IO보다 인터페이스가 더 간단하고 효율적입니다.

표준 IO는 전체 캐시, 행 캐시, 캐시 없음의 세 가지 유형의 버퍼를 제공합니다. 전체 캐시는 버퍼가 가득 찼을 때만 적극적으로 플러시되며 일반적으로 디스크 파일의 IO에 사용됩니다. 라인 캐시는 버퍼에서 개행 문자를 발견하면 플러시됩니다. 또 다른 경우에는 표준 입력 및 출력에서 ​​입력 데이터를 가져와야 할 때 버퍼가 플러시됩니다. 캐싱이 없으면 시스템 호출 출력을 직접 작성하는 것과 같습니다. 표준 오류 스트림 stderr은 일반적으로 캐시되지 않으므로 오류 메시지가 최대한 빨리 표시됩니다. 기본 플러시 조건 외에도 fflush 함수가 명시적으로 호출되고 프로그램이 정상적으로 종료될 때 버퍼도 플러시됩니다. setbuf/setvbuf를 사용하여 기본 버퍼 길이를 변경할 수 있습니다. APUE 섹션 5.4를 참조하세요.

표준 IO를 사용하는 프로그램에서 표준 출력을 파일로 리디렉션하면 라인 캐시가 전체 캐시가 되어 어떤 경우에는 printf("*** **n"), 프로그램이 대화형으로 실행될 때 정상적인 출력이 발생합니다. 그러나 표준 출력이 파일로 리디렉션되면 버퍼 영역이 완전히 캐시되고 printf가 정상적으로 출력되지 않으며 데이터 라인이 여전히 버퍼에 남아 있습니다. 이때 자식 프로세스를 분기하면 데이터 공간이 자식 프로세스에 복사될 때 버퍼 데이터도 자식 프로세스에 복사됩니다. 그런 다음 하위 프로세스에서 출력이 수행되면 버퍼의 이전 콘텐츠가 새로 고쳐져 예상치 못한 출력이 발생합니다.

네트워크 프로그래밍에서는 시스템 IO를 직접 사용해야 합니다. 표준 IO는 성능 향상을 위해 버퍼링 메커니즘을 도입하므로 네트워크 애플리케이션의 복잡성이 증가합니다. 게다가 어떤 의미에서 표준 IO 스트림은 전이중(full-duplex)이며 동시에 입력과 출력을 수행할 수 있습니다. 그러나 스트림에 대한 제한과 소켓에 대한 제한이 때로는 서로 충돌합니다. (CSAPP P611 참조)

일부 고급 네트워크 라이브러리(예: muduo 라이브러리)는 시스템 IO 사용을 기반으로 자체 버퍼를 생성하여 사용자가 쓰기를 호출하여 전송하는 것과 같은 시스템 IO의 불편함을 방지할 수 있도록 돕습니다. 데이터 양이 많기 때문에 전송 버퍼가 가득 차면 애플리케이션 계층에서 기다려야 합니다. 읽기가 데이터를 수신하면 패킷이 끈적해지고 데이터 수신이 느려집니다. 애플리케이션 계층 버퍼가 추가되면 네트워크 라이브러리는 이러한 구현 세부 사항을 처리하여 사용자 작업을 단순화합니다.

Linux는 또한 메모리 복사본을 줄여 효율성을 향상시키는 제로 복사 기술을 제공합니다. 우리는 읽기/쓰기를 사용하여 디스크에서 네트워크 카드로 데이터를 전송하는 데 네 가지 복사 작업이 필요하다는 것을 알고 있습니다. 데이터 조각, 운영 체제 커널은 동일한 파일에 대한 이전 액세스로 인해 운영 체제 커널 주소 공간의 버퍼에 데이터가 저장되었는지 먼저 확인합니다. Linux 운영 체제 커널은 먼저 디스크에서 이 데이터를 읽고 운영 체제 커널의 버퍼에 넣습니다. 이 데이터 읽기 작업이 DMA로 완료되면 DMA로 데이터를 읽는 동안 CPU는 버퍼 관리만 수행하고 DMA를 생성하고 처리할 필요가 없습니다. DMA는 데이터 읽기 작업을 수행한 후 추가 처리를 위해 운영 체제에 알립니다. Linux 운영 체제는 사용자가 데이터에 대한 작업을 완료한 후 읽기 시스템 호출에 의해 지정된 응용 프로그램 주소 공간의 주소를 기반으로 이 데이터 조각을 요청한 응용 프로그램의 주소 공간에 이 데이터 조각을 저장합니다. 운영 체제는 데이터를 복원해야 하며, 사용자 애플리케이션 주소 공간의 버퍼에서 네트워크 스택과 관련된 커널 버퍼로 복사본이 만들어집니다. 데이터 복사 작업이 완료된 후 데이터는 패키지화되어 네트워크 인터페이스 카드로 전송됩니다. 위의 설명에서 볼 수 있듯이 이러한 전통적인 데이터 전송 프로세스에서는 데이터가 최소 4번 복사됩니다. DMA를 사용하여 하드웨어와 통신하더라도 CPU는 여전히 데이터에 두 번 액세스해야 합니다.

(ps: printf 출력 프로세스가 여러 버퍼를 통과한다고 말하기 전에 인터뷰 질문을 읽은 기억이 나네요. 이제는 모두가 이해합니다!)

제로 복사 기술을 사용하면 시스템 커널의 데이터 버퍼링을 피할 수 있습니다. 주소 공간 영역과 사용자 애플리케이션 주소 공간 버퍼가 복사됩니다. 때로는 데이터 전송 과정에서 애플리케이션이 데이터에 액세스할 필요가 없으며 전송된 데이터를 사용자 애플리케이션 영역에 복사할 필요가 없지만 커널을 통해 네트워크 카드로 직접 보낼 수 있으므로 성능이 향상될 수 있습니다. 이때 기술은 제로 복사가 필요합니다. Linux에서는 mmap, sendfile 및 splice를 사용하여 제로 복사를 달성할 수 있습니다.

위 내용은 IO 버퍼 관리 예시에 대한 자세한 설명의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!