MySQL系列:innodb源码分析之表空间管理_MySQL
innodb在实现表空间(table space)基于文件IO之上构建的一层逻辑存储空间管理,table space采用逻辑分层的结构:space、segment inode、extent和page.在实现层的逻辑使用了磁盘链表这种结构来管理逻辑关系。我们先来介绍磁盘链表。
1.磁盘链表
磁盘链表的实现fut0lst.*文件当中, innodb为了管理表空间和索引模块,定义了一个基于磁盘的链表,主要是用来保存磁盘数据结构之间的关系。这个链表不是基于内存指针的,而是基于page no和boffset来做位置绑定的。在innodb中定义了一个fil_addr_t的结构来做描述:typedef struct fil_addr_struct { ulint page; /*page在space中的编号*/ ulint boffset; /*page中的字节偏移量,在内存中使用2字节表示*/ }fil_addr_t;
flst_node_t可以通过buf_ptr_get_fsp_addr来确定fil_addr_t。 flst_node_t中存有12个字节的内容,前6个字节(page:4 boffset:2)表示相对自己前一个node的fil_addr_t信息,后6个字节表示相对自己后1个node的fil_addr_t。除了flst_node_t以外,磁盘链表还有一个头信息flst_base_node_t,头信息是一个节点个数FLST_LEN(4字节) + FLST_FIRST (6字节)+ FLST_LAST(6字节).
1.1磁盘链表的结构关系

2.space结构分析
在innodb的表空间中,所有的数据都是以page为单位来存储的,在space(表空间)中有两种 page: FSP_HDR/XDES Page、fseg inodes Page。每个page是以默认16KB的大小存储的, innodb在分配page的时候总以一个extent为单位一次性分配64个page。2.1 FSP HDR/XDES Page
2.1.1XDES结构分析(extent)
这个类型的page主要存储两类信息,前面112个字节存储的是File Space header信息,后面剩余的空间存储多个extent描述信息(XDES ),具体存储结构图如下:
只有space的第一个page会保存FSP header,其他的页是用0填充的。 每个XDES Page最大包含256个XDES descritptors Entry,每个XDES descritptors Entry对应的是一个extent。XDES descritptors Entry的结构描述如下:

File Segment ID 是当前extent所属segment的ID
XDES list 是磁盘双向链表的一个节点,分别指向前一个XDES entry的page位置和后一个 XDES entry的page位置
state extent的状态, XDES_FREE、XDES_FREE_FRAG、XDES_FULL_FRAG、 XDES_FSEG,在为XDES_FSEG的时候,表示这个extent已经隶属于一个 Segment,extent在创建的时候会指定成XDES_FSEG状态。一个extent在刚 分配时的状态XDES_FREE.
bitmap 当前extent的所有page的状态索引,一个page占用2 bit,第一个bit表示是否被使用 状态,第二个位表示是否并 清空状态,清空状态暂时好像没有用 到,都是TRUE。
2.1.2 FSP Header

limit 当前space已经分配初始化的page数,包括空闲的和已经使用的
flag 未起作用
frage used FSP_FREE_FRAG列表中已经被使用的page数
free list space中可用的extent对象列表,extent里面没有一个page被使用
frag free list 有可用碎叶page的extent列表,exntent里面有部分page被使用
frag full list 没有有可用page的extent列表,exntent里面全部page被使用
segment id 下一个可利用的segment id
full inode list space当前完全占满的segment inode页列表
free inode list space当前完全占满的segment inode页列表
2.2 Fseg inode Page
这个页类型是存储fseg inode用的页,每个inode 占用192个字节,一个page存储有85个inode对象,结构如下:
在FIL Header后面紧接了12个字节,这个12个字节其实就是full inode list或则free inode list中的列表所以,分别表示前后的fil_addr_t。每个inode信息占用192个字节,里面分别管理对应的extent和fragment page。inode 结构如下:

fseg id segment ID
not full used FSEG_NOT_FULL列表中的page数
FSEG_FREE inode中空闲的extent列表
FSEG_NOT_FULL extent有部分page被占用,有部分page空闲的extent列表
FSEG_FULL 完全占满的extent的列表
FSEG_MAGIC_N 校验魔法字
fragment array 一个长度为32的零散page索引存储的数组,如果这个数据满了.主要的作用是 节省空间,例如在表刚建立时,不会分配一个完整的extent给表用,只会分配 6个PAGE页,这时候就需要用fragment array来管理。
3.space结构图
3.1space框架关系图

3.2模块关系示意图

4.space的inode、extent和page分配流程
innodb的space中,inode、extent和page之间的关系是环环相扣的,inode对应的是segment,extent对应的是区,page是页,也是表空间的最小分配单位。一个page在MySQL中默认是16KB大小,一个extent管理64个page,大小为1M,而inode可以管理很多extent加32个frag page(碎页)。frag page是为了节省空间而定义的。在了解了以上基本的概念后,我们开始分析inode的分配、extent的分配和page的分配过程。4.1 inode的分配流程
通过inode page的介绍我们可以知道,inode信息一定是存储在inode page中的,在分配inode的时候,一定是从inode page中获取空闲的inode。如果没有inode page可以使用,会先去在space的free list得到一个inode page(在函数fsp_alloc_seg_inode_page),然后再在这个inode page获得空闲的inode。在这个过程中会涉及到两个磁盘链表:FSP_SEG_INODES_FREE和FSP_SEG_INODES_FULL,这两个队列是管理inode page的,如果没有空闲inode的inode page是放在FSP_SEG_INODES_FULL中的,如果还有空闲inode的inode page是放在FSP_SEG_INODES_FREE中。一个inode页包含85个inode信息。以下是inode 分配示意图:
第1步:在FSP_SEG_INODES_FREE为空时,向space默认的头页中获取一个inode page,对应函数fsp_alloc_seg_inode_page
第2步:在申请inode时,如果FSP_SEG_INODES_FREE有可以的inode page,从inode page或的一个inode,对应函数fsp_alloc_seg_inode
第3步:如果在申请inode后,inode所处的inode page已经没有空闲的inode了,会将这个inode page放入FSP_SEG_INODE_FULL,并将其从FSP_SEG_INODES_FREE中删除。
第4步:如果inode管理的所有的页都是空闲,那么这个inode状态会被置为空闲状态,这个时候会将这个inode page从FSP_SEG_INODE_FULL移 到FSP_SEG_INODES_FREE中;这个过程只有在segment删除的时候才会调用。对应的函数fsp_free_seg_inode
4.2extent的分配流程
extent的分配方式有两种,一种是通过inode进行申请分配,一种是通过fragment碎片方式申请分配。inode分配方式是当inode中没有空闲可用的extent的时候,会向space free list中申请1个或者5个extent进行管理,如果当inode管理的extent数量小于40时,每次只会申请1个extent,如果超过这个大小,就会一次申请5个extent,这个过程会涉及到inode的FSEG_FREE、FSEG_NOT_FULL和FSEG_FULL三个磁盘链表。第二种申请方式是分配frag page时,是直接对extent进行申请,这其中会涉及到FSP_FREE_FRAG和FSP_FULL_FRAG这两个磁盘链表。以下是分配示意图:
1. 指定的inode的hint位置的页是空闲状态,直接返回对应的page
2.descr是空闲状态,但segment inode中的空闲page数量 3.如果descr不是空闲状态,且segment inode中的空闲page数量 4.descr是XDES_FSEG状态,且这个extent中还有空闲page,从其中获取一个page.
5.除了以上情况外,如果descr不是空闲的,但是inode还有其他的空闲extent,从其他的extent获得一个空闲。
6.如果其他的extent没有空闲页,但是fragment array还有空闲的碎片page,从空闲的碎片page中获得一个空闲页。
7.如果连碎页也没有,直接申请分配一个新的extent,并在其中获取一个空闲的page.
5.综述
table space的实现在fsp0fsp.*文件当中,也依赖于page0page.* fil0fil.* 等文件。innodb在存储上,定义了最小的存储单位就是page,space在设计这些层关系,都是为了更为高效和合理的管理page。space可以和其他表存在同一个数据库文件中,也可以一张表一个文件存储。这取决于MySQL的配置。分析space的结构和工作原理有利于我们理解innodb的存储方式,其后面理解索引、锁和事务提供有力的基础。上面也说到最小的存储单位是page,我将在下一章节中单独来介绍数据page的存储方式和其工作原理。
핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











이 기사는 WeChat 공개 계정 "정보 시대에 살기"에서 재인쇄되었습니다. 저자는 정보 시대에 살고 있습니다. 이 기사를 재인쇄하려면 Living in the Information Age 공개 계정에 문의하세요. 머신러닝에서는 두 샘플 간의 차이를 판단하는 방법을 기본 개념으로 하여 두 샘플 간의 유사성과 카테고리 정보를 평가할 수 있습니다. 이러한 유사성을 판단하는 척도는 특징 공간에서 두 샘플 사이의 거리입니다. 다양한 데이터 특성에 따라 다양한 측정 방법이 있습니다. 일반적으로 두 데이터 샘플 x, y에 대해 함수 d(x, y)를 정의합니다. 두 샘플 사이의 거리로 정의되면 d(x, y)는 다음 기본 속성을 충족해야 합니다. 부정성: d(x, y)>=0 동일성: d(x, y)=0 ⇔ x=y 쌍

고급 프로그래밍 언어인 Python 언어는 배우기 쉽고 읽고 쓰기 쉬우며 소프트웨어 개발 분야에서 널리 사용되었습니다. 그러나 Python의 오픈 소스 특성으로 인해 소스 코드는 다른 사람이 쉽게 액세스할 수 있으므로 소프트웨어 소스 코드 보호에 몇 가지 문제가 발생합니다. 따라서 실제 응용 프로그램에서는 Python 소스 코드를 보호하고 보안을 보장하기 위해 몇 가지 방법을 사용해야 하는 경우가 많습니다. 소프트웨어 소스 코드 보호에는 Python에서 선택할 수 있는 다양한 응용 사례가 있습니다. 다음은 몇 가지 일반적인 사항입니다.

우리 모두 알고 있듯이 시스템 설치가 완료된 후 차지하는 시스템 디스크가 너무 크면 시스템 지연, 지연 및 파일 손실이 발생할 수 있습니다. 따라서 win11 시스템을 설치하기 전에 win11을 업그레이드하는 데 필요한 C 드라이브 공간이 얼마나 되는지 알아야 합니다. win11을 업그레이드하는 데 필요한 C 드라이브 공간: 답변: win11을 업그레이드하려면 20-30GB의 C 드라이브 공간이 필요합니다. 1. Microsoft의 win11 구성 요구 사항에 따르면 win11 설치에는 64GB의 하드 드라이브 공간이 필요함을 알 수 있습니다. 2. 그러나 실제로는 일반적으로 이렇게 큰 공간이 필요하지 않습니다. 3. 이미 win11을 설치한 사용자의 피드백에 따르면 win11 업그레이드에는 약 20-30GB의 C 드라이브 공간이 필요합니다. 4. 하지만 우리 문에

c 드라이브의 남은 공간은 50-80G가 더 적합합니다. 향후 시스템에서 정크 파일, 캐시 파일 등이 생성되므로 소프트웨어 설치 시 경로 선택에 익숙하지 않고 정리하지 않는 경우 C 드라이브용으로 최소 50GB~80GB의 공간을 확보하는 것이 좋습니다. 컴퓨터를 자주 사용하는 경우 최소 100GB가 필요합니다.

스왑 공간은 Linux 시스템에서 중요한 역할을 하며, 특히 시스템의 메모리가 부족한 경우 더욱 그렇습니다. 높은 부하에서도 시스템이 원활하게 실행되고 안정성을 유지할 수 있도록 도와주는 백업 메모리 저장 공간 역할을 합니다. 이 문서에서는 시스템 성능이 최적화되고 다양한 작업 부하를 처리할 수 있도록 Ubuntu 22.04LTS에 스왑 공간을 추가하는 방법에 대한 자세한 가이드를 제공합니다. 스왑 공간 이해 스왑 공간은 시스템의 물리적 RAM을 보완하는 데 사용되는 가상 메모리를 제공합니다. 시스템의 RAM이 부족하면 커널은 메모리 부족 및 시스템 충돌을 방지하기 위해 데이터를 디스크로 교환합니다. Linux 시스템은 일반적으로 이러한 상황을 처리하기 위해 스왑 공간을 사용합니다. 여러 메모리 집약적 애플리케이션을 동시에 실행하여 매우 큰 파일이나 데이터를 처리합니다.

IDEA에서 Tomcat 소스 코드를 보는 단계: 1. Tomcat 소스 코드를 다운로드합니다. 3. Tomcat 소스 코드를 봅니다. 4. Tomcat의 작동 원리를 이해합니다. 7. 도구 및 플러그인 사용 8. 커뮤니티에 참여하고 기여합니다. 자세한 소개: 1. Tomcat 소스 코드 다운로드 Apache Tomcat 공식 웹사이트에서 소스 코드 패키지를 다운로드할 수 있습니다. 일반적으로 이러한 소스 코드 패키지는 ZIP 또는 TAR 형식 등입니다.

Xbox 콘솔에는 다운로드하고 플레이할 수 있는 다양한 게임이 있습니다. Microsoft의 Xbox Game Pass 구독과 함께 게임 컬렉션의 재미가 멈추지 않습니다. 하지만 Xbox Series S의 경우 356GB, Xbox Series X의 경우 850GB에 달하는 게임용 공간 문제가 있습니다. 이전 버전의 게임에서는 문제가 없었지만 게임의 최대 크기는 아마도 20GB에서 45GB 사이였을 것입니다. 최근 게임에서는 그렇지 않습니다. 최근에 사용 가능한 게임은 결국 디스크 공간을 많이 차지하게 되어 다른 게임을 다운로드할 수 있는 공간이 줄어듭니다. ForzaHorizon5 및 Halo5Guardians 등

PHP 코드의 소스 코드를 해석 및 실행하지 않고 브라우저에 표시하는 방법은 무엇입니까? PHP는 동적 웹 페이지를 개발하는 데 일반적으로 사용되는 서버 측 스크립팅 언어입니다. 서버에서 PHP 파일이 요청되면 서버는 그 안에 있는 PHP 코드를 해석하고 실행한 후 최종 HTML 콘텐츠를 브라우저에 보내 표시합니다. 그러나 때때로 PHP 파일의 소스 코드를 실행하는 대신 브라우저에 직접 표시하고 싶을 때가 있습니다. 이 기사에서는 PHP 코드의 소스 코드를 해석 및 실행하지 않고 브라우저에 표시하는 방법을 소개합니다. PHP에서는 다음을 사용할 수 있습니다.
