먼저 인터뷰 장면을 살펴보겠습니다.
수천만 개의 데이터가 있는 테이블을 한 번도 본 적이 없고, 수천만 개의 데이터를 쿼리하면 어떤 일이 일어날지 모르는 친구도 있을 것입니다.
오늘은 실습을 통해 안내해드리겠습니다. 이번에는 MySQL 5.7.26 테스트용 버전
데이터가 1000만개도 안되면 어떻게 해야 할까요? ?
만들기
1천만개를 만드는 코드? 그것은 불가능하고 너무 느리며 하루 종일 걸릴 수도 있습니다. 데이터베이스 스크립트를 사용하면 훨씬 빠르게 실행할 수 있습니다.
CREATE TABLE `user_operation_log` ( `id` int(11) NOT NULL AUTO_INCREMENT, `user_id` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `ip` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `op_data` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `attr1` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `attr2` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `attr3` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `attr4` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `attr5` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `attr6` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `attr7` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `attr8` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `attr9` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `attr10` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `attr11` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `attr12` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
일괄 삽입을 사용하면 효율성이 훨씬 빨라지고, 1000개 항목마다 커밋되는 데이터 양이 너무 많아 일괄 삽입 효율성도 느려집니다
DELIMITER ;;
CREATE PROCEDURE batch_insert_log()
BEGIN
DECLARE i INT DEFAULT 1;
DECLARE userId INT DEFAULT 10000000;
set @execSql = 'INSERT INTO `test`.`user_operation_log`(`user_id`, `ip`, `op_data`, `attr1`, `attr2`, `attr3`, `attr4`, `attr5`, `attr6`, `attr7`, `attr8`, `attr9`, `attr10`, `attr11`, `attr12`) VALUES';
set @execData = '';
WHILE i<=10000000 DO
set @attr = "'测试很长很长很长很长很长很长很长很长很长很长很长很长很长很长很长很长很长的属性'";
set @execData = concat(@execData, "(", userId + i, ", '10.0.69.175', '用户登录操作'", ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ")");
if i % 1000 = 0
then
set @stmtSql = concat(@execSql, @execData,";");
prepare stmt from @stmtSql;
execute stmt;
DEALLOCATE prepare stmt;
commit;
set @execData = "";
else
set @execData = concat(@execData, ",");
end if;
SET i=i+1;
END WHILE;
END;;
DELIMITER ;田哥的电脑配置比较低：win10 标压渣渣i5 读写约500MB的SSD
由于配置低，本次测试只准备了3148000条数据，占用了磁盘5G(还没建索引的情况下)，跑了38min，电脑配置好的同学，可以插入多点数据测试
SELECT count(1) FROM `user_operation_log`
返回结果：3148000
三次查询时间分别为：
MySQL 支持 LIMIT 语句来选取指定的条数数据， Oracle 可以使用 ROWNUM 来选取。
MySQL分页查询语法如下：
SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset
下面我们开始测试查询结果：
SELECT * FROM `user_operation_log` LIMIT 10000, 10
查询3次时间分别为：
这样看起来速度还行，不过是本地数据库，速度自然快点。
换个角度来测试
SELECT * FROM `user_operation_log` LIMIT 10000, 10 SELECT * FROM `user_operation_log` LIMIT 10000, 100 SELECT * FROM `user_operation_log` LIMIT 10000, 1000 SELECT * FROM `user_operation_log` LIMIT 10000, 10000 SELECT * FROM `user_operation_log` LIMIT 10000, 100000 SELECT * FROM `user_operation_log` LIMIT 10000, 1000000
查询时间如下：
| 수량 | 첫 번째 | 두 번째 | 세 번째 |
|---|---|---|---|
| 10개 항목 | 53ms | 52ms | 47ms |
| 100개 항목 | 50ms | 60ms | 55ms |
| 1000개 항목 | 61ms | 74ms | 60ms |
| 10000개 항목 | 164ms | 180ms | 217ms |
| 100000개 항목 | 1609ms | 1741ms | 1764ms |
| 1000000개 항목 | 16219ms | 16889ms | 17081ms |
위 결과에서 다음과 같은 결론을 내릴 수 있습니다. 데이터 양이 많을수록 시간이 오래 걸립니다
SELECT * FROM `user_operation_log` LIMIT 100, 100 SELECT * FROM `user_operation_log` LIMIT 1000, 100 SELECT * FROM `user_operation_log` LIMIT 10000, 100 SELECT * FROM `user_operation_log` LIMIT 100000, 100 SELECT * FROM `user_operation_log` LIMIT 1000000, 100
| 偏移量 | 第一次 | 第二次 | 第三次 |
|---|---|---|---|
| 100 | 36ms | 40ms | 36ms |
| 1000 | 31ms | 38ms | 32ms |
| 10000 | 53ms | 48ms | 51ms |
| 100000 | 622ms | 576ms | 627ms |
| 1000000 | 4891ms | 5076ms | 4856ms |
从上面结果可以得出结束：偏移量越大，花费时间越长
SELECT * FROM `user_operation_log` LIMIT 100, 100 SELECT id, attr FROM `user_operation_log` LIMIT 100, 100
既然我们经过上面一番的折腾，也得出了结论，针对上面两个问题：偏移大、数据量大，我们分别着手优化
我们可以先定位偏移位置的 id，然后再查询数据
SELECT * FROM `user_operation_log` LIMIT 1000000, 10 SELECT id FROM `user_operation_log` LIMIT 1000000, 1 SELECT * FROM `user_operation_log` WHERE id >= (SELECT id FROM `user_operation_log` LIMIT 1000000, 1) LIMIT 10
查询结果如下：
| sql | 시간이 걸립니다 |
|---|---|
| 첫 번째 | 4818ms |
| 두 번째(색인 없음) | 4329ms |
| 제2조(색인 포함) ) | 199ms |
| 세 번째 기사(색인 없음) | 4319ms |
| 세 번째 기사(색인 있음) | 201ms |
从上面结果得出结论：
缺点：只适用于id递增的情况
id非递增的情况可以使用以下写法，但这种缺点是分页查询只能放在子查询里面
注意：某些 mysql 版本不支持在 in 子句中使用 limit，所以采用了多个嵌套select
SELECT * FROM `user_operation_log` WHERE id IN (SELECT t.id FROM (SELECT id FROM `user_operation_log` LIMIT 1000000, 10) AS t)
这种方法要求更高些，id必须是连续递增，而且还得计算id的范围，然后使用 between，sql如下
SELECT * FROM `user_operation_log` WHERE id between 1000000 AND 1000100 LIMIT 100 SELECT * FROM `user_operation_log` WHERE id >= 1000000 LIMIT 100
查询结果如下：
| sql | 花费时间 |
|---|---|
| 第一条 | 22ms |
| 第二条 | 21ms |
从结果可以看出这种方式非常快
注意：这里的 LIMIT 是限制了条数，没有采用偏移量
返回结果的数据量也会直接影响速度
SELECT * FROM `user_operation_log` LIMIT 1, 1000000 SELECT id FROM `user_operation_log` LIMIT 1, 1000000 SELECT id, user_id, ip, op_data, attr1, attr2, attr3, attr4, attr5, attr6, attr7, attr8, attr9, attr10, attr11, attr12 FROM `user_operation_log` LIMIT 1, 1000000
查询结果如下：
| sql | 花费时间 |
|---|---|
| 第一条 | 15676ms |
| 第二条 | 7298ms |
| 第三条 | 15960ms |
불필요한 열을 줄이면 쿼리 효율성도 크게 향상될 수 있다는 것을 결과에서 알 수 있습니다.
첫 번째와 세 번째 쿼리 속도는 거의 동일합니다. 이때 분명히 불만이 있을 것입니다. 필드를 너무 많이 작성하면 *만 하면 끝입니다
MySQL 서버와 클라이언트가 동일한 컴퓨터에 있으므로 자격을 갖춘 학생은 클라이언트와 MySQL을 별도로 테스트할 수 있습니다.
그런데 SELECT *를 금지해야 하는 이유를 추가하고 싶습니다. 간단하고 정신없어서 맛있는거 아닌가요?
두 가지 주요 사항:
마지막으로, 직접 연습해 보시면 확실히 더 많은 것을 얻으실 수 있기를 바랍니다!
위 내용은 면접관: 수천만 개의 데이터를 빠르게 쿼리하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
