MySql에서 그룹별을 어떻게 사용하나요? 다음 글은 group by 사용법에 대한 심층적인 분석을 제공할 것입니다. 도움이 되기를 바랍니다.
일상적인 개발에서는 group by
를 자주 사용합니다. 친애하는 친구 여러분, 그룹화
가 어떻게 작동하는지 아시나요? 그룹화 기준
과 갖기
의 차이점은 무엇인가요? 그룹화
의 최적화 아이디어는 무엇인가요? group by
를 사용할 때 주의해야 할 문제는 무엇인가요? 이번 글에서는 group by
를 극복하는 방법을 함께 배워보겠습니다~group by
。亲爱的小伙伴,你是否知道group by
的工作原理呢?group by
和having
有什么区别呢?group by
的优化思路是怎样的呢?使用group by
有哪些需要注意的问题呢?本文将跟大家一起来学习,攻克group by
~
【相关推荐:mysql视频教程】
group by
一般用于分组统计,它表达的逻辑就是根据一定的规则,进行分组
。我们先从一个简单的例子,一起复习一下哈。
假设用一张员工表,表结构如下:
CREATE TABLE `staff` ( `id` bigint(11) NOT NULL AUTO_INCREMENT COMMENT '主键id', `id_card` varchar(20) NOT NULL COMMENT '身份证号码', `name` varchar(64) NOT NULL COMMENT '姓名', `age` int(4) NOT NULL COMMENT '年龄', `city` varchar(64) NOT NULL COMMENT '城市', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=15 DEFAULT CHARSET=utf8 COMMENT='员工表';
表存量的数据如下:
我们现在有这么一个需求:统计每个城市的员工数量。对应的 SQL 语句就可以这么写:
select city ,count(*) as num from staff group by city;
执行结果如下:
这条SQL语句的逻辑很清楚啦,但是它的底层执行流程是怎样的呢?
我们先用explain
查看一下执行计划
explain select city ,count(*) as num from staff group by city;
Using temporary
表示在执行分组的时候使用了临时表Using filesort
表示使用了排序group by
怎么就使用到临时表和排序
了呢?我们来看下这个SQL的执行流程
explain select city ,count(*) as num from staff group by city;
我们一起来看下这个SQL的执行流程哈
city
和num
;staff
的记录,依次取出city = 'X'的记录。city
做排序,得到结果集返回给客户端。这个流程的执行图如下:
临时表的排序是怎样的呢?
就是把需要排序的字段,放到sort buffer,排完就返回。在这里注意一点哈,排序分全字段排序和rowid排序
- 如果是
全字段排序
,需要查询返回的字段,都放入sort buffer
,根据排序字段排完,直接返回- 如果是
rowid排序
,只是需要排序的字段放入sort buffer
,然后多一次回表操作,再返回。- 怎么确定走的是全字段排序还是rowid 排序排序呢?由一个数据库参数控制的,
max_length_for_sort_data
- group by를 사용하는 간단한 예
- group by 작동 원리
- group by + where와 group by + had의 차이점
group by
의 간단한 예는 일반적으로 통계 그룹화에 사용됩니다. 이것이 표현하는 논리는 입니다. >특정 규칙에 따라 그룹화
. 간단한 예부터 시작해 함께 살펴보겠습니다. 🎜🎜직원 테이블을 사용한다고 가정해 보겠습니다. 테이블 구조는 다음과 같습니다. 🎜select city ,count(*) as num from staff where age> 30 group by city; //加索引 alter table staff add index idx_age (age);
explain select city ,count(*) as num from staff where age> 30 group by city;
설명
을 사용하여 실행 계획을 확인해 보겠습니다🎜select city ,count(*) as num from staff group by city having num >= 3;
Using temporary
는 수행 시 임시 테이블이 사용됨을 나타냅니다. grouping 🎜Using filesort
는 sort🎜🎜🎜group by
사용을 나타냅니다. 사용 방법 임시 테이블 및 정렬
? 이 SQL의 실행 과정을 살펴보겠습니다🎜select city ,count(*) as num from staff where age> 19 group by city having num >= 3;
city
및 num
두 필드가 있는 임시 메모리 테이블을 생성합니다. 🎜 직원
의 기록에서 도시 = 'X'의 기록을 차례로 꺼냅니다. 🎜city</ code>필드에 <strong>정렬</strong>을 수행하고 결과 세트를 가져와 클라이언트에 반환합니다. 🎜</ol>🎜이 프로세스의 실행 다이어그램은 다음과 같습니다. 🎜🎜<img src="https://img.php.cn/upload/image/847/517/519/164241850361512MySql에서 그룹화를 사용하는 방법에 대해 자세히 알아보세요. (자세한 사용법 설명)" title=" 164241850361512MySql에서 그룹화를 사용하는 방법에 대해 자세히 알아보세요. (자세한 사용법 설명) " alt="MySql에서 그룹화를 사용하는 방법에 대해 자세히 알아보세요. (자세한 사용법 설명)"/>🎜🎜임시 테이블 정렬은 어떻게 되나요? 🎜<blockquote>🎜정렬이 필요한 필드를 정렬 버퍼에 넣고 정렬 후 반환하면 됩니다. 여기서 주목해야 할 점은 정렬이 <strong>전체 필드 정렬</strong>과 <strong>rowid 정렬</strong>로 나누어진다는 것입니다.🎜<ul><li><code>전체 필드 정렬</code인 경우 >, 쿼리해야 합니다. 반환된 필드는 <code>정렬 버퍼
에 넣고 정렬 필드에 따라 정렬된 후 직접 반환됩니다🎜rowid인 경우 정렬
, 필요합니다. 정렬된 필드를 정렬 버퍼
에 넣은 다음 테이블로 돌아가기 작업을 한 번 더 수행한 후 반환합니다. 🎜max_length_for_sort_data
🎜🎜🎜🎜에 의해 제어됩니다. 정렬에 대해 더 자세히 알고 싶은 친구는 이 기사를 읽어보세요. 🎜有些小伙伴觉得上一小节的SQL太简单啦,如果加了where条件之后,并且where条件列加了索引呢,执行流程是怎样?
好的,我们给它加个条件,并且加个idx_age
的索引,如下:
select city ,count(*) as num from staff where age> 30 group by city; //加索引 alter table staff add index idx_age (age);
再来expain分析一下:
explain select city ,count(*) as num from staff where age> 30 group by city;
从explain 执行计划结果,可以发现查询条件命中了idx_age
的索引,并且使用了临时表和排序
Using index condition:表示索引下推优化,根据索引尽可能的过滤数据,然后再返回给服务器层根据where其他条件进行过滤。这里单个索引为什么会出现索引下推呢?explain出现并不代表一定是使用了索引下推,只是代表可以使用,但是不一定用了。大家如果有想法或者有疑问,可以加我微信讨论哈。
执行流程如下:
1、创建内存临时表,表里有两个字段city
和num
;
2、扫描索引树idx_age
,找到大于年龄大于30的主键ID
3、通过主键ID,回表找到city = 'X'
4、继续重复2,3步骤,找到所有满足条件的数据,
5、最后根据字段city
做排序,得到结果集返回给客户端。
如果你要查询每个城市的员工数量,获取到员工数量不低于3的城市,having可以很好解决你的问题,SQL酱紫写:
select city ,count(*) as num from staff group by city having num >= 3;
查询结果如下:
having
称为分组过滤条件,它对返回的结果集操作。
如果一个SQL同时含有where、group by、having
子句,执行顺序是怎样的呢。
比如这个SQL:
select city ,count(*) as num from staff where age> 19 group by city having num >= 3;
执行where
子句查找符合年龄大于19的员工数据
group by
子句对员工数据,根据城市分组。
对group by
子句形成的城市组,运行聚集函数计算每一组的员工数量值;
最后用having
子句选出员工数量大于等于3的城市组。
having
子句用于分组后筛选,where子句用于行条件筛选having
一般都是配合group by
和聚合函数一起出现如(count(),sum(),avg(),max(),min()
)where
条件子句中不能使用聚集函数,而having
子句就可以。having
只能用在group by之后,where执行在group by之前使用group by 主要有这几点需要注意:
group by
一定要配合聚合函数一起使用嘛?group by
的字段一定要出现在select中嘛group by
导致的慢SQL问题group by 就是分组统计的意思,一般情况都是配合聚合函数 如(count(),sum(),avg(),max(),min())
一起使用。
如果没有配合聚合函数使用可以吗?
我用的是Mysql 5.7 ,是可以的。不会报错,并且返回的是,分组的第一行数据。
比如这个SQL:
select city,id_card,age from staff group by city;
查询结果是
大家对比看下,返回的就是每个分组的第一条数据
当然,平时大家使用的时候,group by还是配合聚合函数使用的,除非一些特殊场景,比如你想去重,当然去重用distinct
也是可以的。
不一定,比如以下SQL:
select max(age) from staff group by city;
执行结果如下:
分组字段city
不在select 后面,并不会报错。当然,这个可能跟不同的数据库,不同的版本有关吧。大家使用的时候,可以先验证一下就好。有一句话叫做,纸上得来终觉浅,绝知此事要躬行。
4.3 <span style="font-size: 16px;">group by</span>
导致的慢SQL问题
到了最重要的一个注意问题啦,group by
使用不当,很容易就会产生慢SQL
问题。因为它既用到临时表,又默认用到排序。有时候还可能用到磁盘临时表。
- 如果执行过程中,会发现内存临时表大小到达了上限(控制这个上限的参数就是
tmp_table_size
),会把内存临时表转成磁盘临时表。- 如果数据量很大,很可能这个查询需要的磁盘临时表,就会占用大量的磁盘空间。
这些都是导致慢SQL的x因素,我们一起来探讨优化方案哈。
从哪些方向去优化呢?
我们一起来想下,执行group by
语句为什么需要临时表呢?group by
的语义逻辑,就是统计不同的值出现的个数。如果这个这些值一开始就是有序的,我们是不是直接往下扫描统计就好了,就不用临时表来记录并统计结果啦?
如何保证group by
后面的字段数值一开始就是有序的呢?当然就是加索引啦。
我们回到一下这个SQL
select city ,count(*) as num from staff where age= 19 group by city;
它的执行计划
如果我们给它加个联合索引idx_age_city(age,city)
alter table staff add index idx_age_city(age,city);
再去看执行计划,发现既不用排序,也不需要临时表啦。
加合适的索引是优化group by
最简单有效的优化方式。
并不是所有场景都适合加索引的,如果碰上不适合创建索引的场景,我们如何优化呢?
如果你的需求并不需要对结果集进行排序,可以使用
order by null
。
select city ,count(*) as num from staff group by city order by null
执行计划如下,已经没有filesort
啦
如果group by
需要统计的数据不多,我们可以尽量只使用内存临时表;因为如果group by 的过程因为数据放不下,导致用到磁盘临时表的话,是比较耗时的。因此可以适当调大tmp_table_size
参数,来避免用到磁盘临时表。
如果数据量实在太大怎么办呢?总不能无限调大tmp_table_size
吧?但也不能眼睁睁看着数据先放到内存临时表,随着数据插入发现到达上限,再转成磁盘临时表吧?这样就有点不智能啦。
因此,如果预估数据量比较大,我们使用SQL_BIG_RESULT
这个提示直接用磁盘临时表。MySQl优化器发现,磁盘临时表是B+树存储,存储效率不如数组来得高。因此会直接用数组来存
示例SQl如下:
select SQL_BIG_RESULT city ,count(*) as num from staff group by city;
执行计划的Extra
字段可以看到,执行没有再使用临时表,而是只有排序
执行流程如下:
初始化 sort_buffer,放入city字段;
扫描表staff,依次取出city的值,存入 sort_buffer 中;
扫描完成后,对 sort_buffer的city字段做排序
排序完成后,就得到了一个有序数组。
根据有序数组,统计每个值出现的次数。
最近遇到个生产慢SQL,跟group by相关的,给大家看下怎么优化哈。
表结构如下:
CREATE TABLE `staff` ( `id` bigint(11) NOT NULL AUTO_INCREMENT COMMENT '主键id', `id_card` varchar(20) NOT NULL COMMENT '身份证号码', `name` varchar(64) NOT NULL COMMENT '姓名', `status` varchar(64) NOT NULL COMMENT 'Y-已激活 I-初始化 D-已删除 R-审核中', `age` int(4) NOT NULL COMMENT '年龄', `city` varchar(64) NOT NULL COMMENT '城市', `enterprise_no` varchar(64) NOT NULL COMMENT '企业号', `legal_cert_no` varchar(64) NOT NULL COMMENT '法人号码', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=15 DEFAULT CHARSET=utf8 COMMENT='员工表';
查询的SQL是这样的:
select * from t1 where status = #{status} group by #{legal_cert_no}
我们先不去探讨这个SQL的=是否合理。如果就是这么个SQL,你会怎么优化呢?有想法的小伙伴可以留言讨论哈,也可以加我微信加群探讨。如果你觉得文章那里写得不对,也可以提出来哈,一起进步,加油呀
更多编程相关知识,请访问:编程入门!!
위 내용은 MySql에서 그룹화를 사용하는 방법에 대해 자세히 알아보세요. (자세한 사용법 설명)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!