大数据量下MySQL插入方法的性能比较_MySQL
不管是日常业务数据处理中,还是数据库的导入导出,都可能遇到需要处理大量数据的插入。插入的方式和数据库引擎都会对插入速度造成影响,这篇文章旨在从理论和实践上对各种方法进行分析和比较,方便以后应用中插入方法的选择。
插入分析
MySQL中插入一个记录需要的时间由下列因素组成,其中的数字表示大约比例:
- 连接:(3)
- 发送查询给服务器:(2)
- 分析查询:(2)
- 插入记录:(1x记录大小)
- 插入索引:(1x索引)
- 关闭:(1)
如果我们每插入一条都执行一个SQL语句,那么我们需要执行除了连接和关闭之外的所有步骤N次,这样是非常耗时的,优化的方式有一下几种:
- 在每个insert语句中写入多行,批量插入
- 将所有查询语句写入事务中
- 利用Load Data导入数据
每种方式执行的性能如下。
Innodb引擎
InnoDB 给 MySQL 提供了具有事务(commit)、回滚(rollback)和崩溃修复能力(crash recovery capabilities)的事务安全(transaction-safe (ACID compliant))型表。InnoDB 提供了行锁(locking on row level)以及外键约束(FOREIGN KEY constraints)。
InnoDB 的设计目标是处理大容量数据库系统,它的 CPU 利用率是其它基于磁盘的关系数据库引擎所不能比的。在技术上,InnoDB 是一套放在 MySQL 后台的完整数据库系统,InnoDB 在主内存中建立其专用的缓冲池用于高速缓冲数据和索引。
测试环境
Macbook Air 12mid apache2.2.26 php5.5.10 mysql5.6.16
总数100W条数据
插入完后数据库大小38.6MB(无索引),46.8(有索引)
- 无索引单条插入 总耗时:229s 峰值内存:246KB
- 有索引单条插入 总耗时:242s 峰值内存:246KB
- 无索引批量插入 总耗时:10s 峰值内存:8643KB
- 有索引批量插入 总耗时:16s 峰值内存:8643KB
- 无索引事务插入 总耗时:78s 峰值内存:246KB
- 有索引事务插入 总耗时:82s 峰值内存:246KB
- 无索引Load Data插入 总耗时:12s 峰值内存:246KB
- 有索引Load Data插入 总耗时:11s 峰值内存:246KB
MyIASM引擎
MyISAM 是MySQL缺省存贮引擎。设计简单,支持全文搜索。
测试环境
Macbook Air 12mid apache2.2.26 php5.5.10 mysql5.6.16
总数100W条数据
插入完后数据库大小19.1MB(无索引),38.6(有索引)
- 无索引单条插入 总耗时:82s 峰值内存:246KB
- 有索引单条插入 总耗时:86s 峰值内存:246KB
- 无索引批量插入 总耗时:3s 峰值内存:8643KB
- 有索引批量插入 总耗时:7s 峰值内存:8643KB
- 无索引Load Data插入 总耗时:6s 峰值内存:246KB
- 有索引Load Data插入 总耗时:8s 峰值内存:246KB
总结
我测试的数据量不是很大,不过可以大概了解这几种插入方式对于速度的影响,最快的必然是Load Data方式。这种方式相对比较麻烦,因为涉及到了写文件,但是可以兼顾内存和速度。
测试代码
<ol class="dp-j"> <li class="alt"><span><span><?php </span></span></span></li> <li><span>$dsn = <span class="string">'mysql:host=localhost;dbname=test'</span><span>; </span></span></li> <li class="alt"><span>$db = <span class="keyword">new</span><span> PDO($dsn,</span><span class="string">'root'</span><span>,</span><span class="string">''</span><span>,array(PDO::ATTR_PERSISTENT => </span><span class="keyword">true</span><span>)); </span></span></li> <li><span><span class="comment">//删除上次的插入数据</span><span> </span></span></li> <li class="alt"><span>$db->query(<span class="string">'delete from `test`'</span><span>); </span></span></li> <li><span><span class="comment">//开始计时</span><span> </span></span></li> <li class="alt"><span>$start_time = time(); </span></li> <li><span>$sum = <span class="number">1000000</span><span>; </span></span></li> <li class="alt"><span><span class="comment">// 测试选项</span><span> </span></span></li> <li><span>$num = <span class="number">1</span><span>; </span></span></li> <li class="alt"><span> </span></li> <li><span><span class="keyword">if</span><span> ($num == </span><span class="number">1</span><span>){ </span></span></li> <li class="alt"><span><span class="comment">// 单条插入</span><span> </span></span></li> <li><span><span class="keyword">for</span><span>($i = </span><span class="number">0</span><span>; $i </span></span></li> <li class="alt"><span>$db->query(<span class="string">"insert into `test` (`id`,`name`) values ($i,'tsetssdf')"</span><span>); </span></span></li> <li><span>} </span></li> <li class="alt"><span>} elseif ($num == <span class="number">2</span><span>) { </span></span></li> <li><span><span class="comment">// 批量插入,为了不超过max_allowed_packet,选择每10万插入一次</span><span> </span></span></li> <li class="alt"><span><span class="keyword">for</span><span> ($i = </span><span class="number">0</span><span>; $i </span></span></li> <li><span><span class="keyword">if</span><span> ($i == $sum - </span><span class="number">1</span><span>) { </span><span class="comment">//最后一次</span><span> </span></span></li> <li class="alt"><span><span class="keyword">if</span><span> ($i%</span><span class="number">100000</span><span> == </span><span class="number">0</span><span>){ </span></span></li> <li><span>$values = <span class="string">"($i, 'testtest')"</span><span>; </span></span></li> <li class="alt"><span>$db->query(<span class="string">"insert into `test` (`id`, `name`) values $values"</span><span>); </span></span></li> <li><span>} <span class="keyword">else</span><span> { </span></span></li> <li class="alt"><span>$values .= <span class="string">",($i, 'testtest')"</span><span>; </span></span></li> <li><span>$db->query(<span class="string">"insert into `test` (`id`, `name`) values $values"</span><span>); </span></span></li> <li class="alt"><span>} </span></li> <li><span><span class="keyword">break</span><span>; </span></span></li> <li class="alt"><span>} </span></li> <li><span><span class="keyword">if</span><span> ($i%</span><span class="number">100000</span><span> == </span><span class="number">0</span><span>) { </span><span class="comment">//平常只有在这个情况下才插入</span><span> </span></span></li> <li class="alt"><span><span class="keyword">if</span><span> ($i == </span><span class="number">0</span><span>){ </span></span></li> <li><span>$values = <span class="string">"($i, 'testtest')"</span><span>; </span></span></li> <li class="alt"><span>} <span class="keyword">else</span><span> { </span></span></li> <li><span>$db->query(<span class="string">"insert into `test` (`id`, `name`) values $values"</span><span>); </span></span></li> <li class="alt"><span>$values = <span class="string">"($i, 'testtest')"</span><span>; </span></span></li> <li><span>} </span></li> <li class="alt"><span>} <span class="keyword">else</span><span> { </span></span></li> <li><span>$values .= <span class="string">",($i, 'testtest')"</span><span>; </span></span></li> <li class="alt"><span>} </span></li> <li><span>} </span></li> <li class="alt"><span>} elseif ($num == <span class="number">3</span><span>) { </span></span></li> <li><span><span class="comment">// 事务插入</span><span> </span></span></li> <li class="alt"><span>$db->beginTransaction(); </span></li> <li><span><span class="keyword">for</span><span>($i = </span><span class="number">0</span><span>; $i </span></span></li> <li class="alt"><span>$db->query(<span class="string">"insert into `test` (`id`,`name`) values ($i,'tsetssdf')"</span><span>); </span></span></li> <li><span>} </span></li> <li class="alt"><span>$db->commit(); </span></li> <li><span>} elseif ($num == <span class="number">4</span><span>) { </span></span></li> <li class="alt"><span><span class="comment">// 文件load data</span><span> </span></span></li> <li><span>$filename = dirname(__FILE__).<span class="string">'/test.sql'</span><span>; </span></span></li> <li class="alt"><span>$fp = fopen($filename, <span class="string">'w'</span><span>); </span></span></li> <li><span><span class="keyword">for</span><span>($i = </span><span class="number">0</span><span>; $i </span></span></li> <li class="alt"><span>fputs($fp, <span class="string">"$i,'testtest'\r\n"</span><span>); </span></span></li> <li><span>} </span></li> <li class="alt"><span>$db->exec(<span class="string">"load data infile '$filename' into table test fields terminated by ','"</span><span>); </span></span></li> <li><span>} </span></li> <li class="alt"><span> </span></li> <li><span>$end_time = time(); </span></li> <li class="alt"><span>echo <span class="string">"总耗时"</span><span>, ($end_time - $start_time), </span><span class="string">"秒\n"</span><span>; </span></span></li> <li><span>echo <span class="string">"峰值内存"</span><span>, round(memory_get_peak_usage()/</span><span class="number">1000</span><span>), </span><span class="string">"KB\n"</span><span>; </span></span></li> <li class="alt"><span> </span></li> <li><span>?> </span></li> </ol>
以上就是MySQL大量数据插入各种方法性能分析与比较,希望能帮到你。
博文出处:http://yansu.org/2014/04/16/insert-large-number-of-data-in-mysql.html

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











다음 단계를 통해 phpmyadmin을 열 수 있습니다. 1. 웹 사이트 제어판에 로그인; 2. phpmyadmin 아이콘을 찾고 클릭하십시오. 3. MySQL 자격 증명을 입력하십시오. 4. "로그인"을 클릭하십시오.

MySQL은 오픈 소스 관계형 데이터베이스 관리 시스템으로, 주로 데이터를 신속하고 안정적으로 저장하고 검색하는 데 사용됩니다. 작업 원칙에는 클라이언트 요청, 쿼리 해상도, 쿼리 실행 및 반환 결과가 포함됩니다. 사용의 예로는 테이블 작성, 데이터 삽입 및 쿼리 및 조인 작업과 같은 고급 기능이 포함됩니다. 일반적인 오류에는 SQL 구문, 데이터 유형 및 권한이 포함되며 최적화 제안에는 인덱스 사용, 최적화 된 쿼리 및 테이블 분할이 포함됩니다.

데이터베이스 및 프로그래밍에서 MySQL의 위치는 매우 중요합니다. 다양한 응용 프로그램 시나리오에서 널리 사용되는 오픈 소스 관계형 데이터베이스 관리 시스템입니다. 1) MySQL은 웹, 모바일 및 엔터프라이즈 레벨 시스템을 지원하는 효율적인 데이터 저장, 조직 및 검색 기능을 제공합니다. 2) 클라이언트 서버 아키텍처를 사용하고 여러 스토리지 엔진 및 인덱스 최적화를 지원합니다. 3) 기본 사용에는 테이블 작성 및 데이터 삽입이 포함되며 고급 사용에는 다중 테이블 조인 및 복잡한 쿼리가 포함됩니다. 4) SQL 구문 오류 및 성능 문제와 같은 자주 묻는 질문은 설명 명령 및 느린 쿼리 로그를 통해 디버깅 할 수 있습니다. 5) 성능 최적화 방법에는 인덱스의 합리적인 사용, 최적화 된 쿼리 및 캐시 사용이 포함됩니다. 모범 사례에는 거래 사용 및 준비된 체계가 포함됩니다

MySQL은 성능, 신뢰성, 사용 편의성 및 커뮤니티 지원을 위해 선택됩니다. 1.MYSQL은 효율적인 데이터 저장 및 검색 기능을 제공하여 여러 데이터 유형 및 고급 쿼리 작업을 지원합니다. 2. 고객-서버 아키텍처 및 다중 스토리지 엔진을 채택하여 트랜잭션 및 쿼리 최적화를 지원합니다. 3. 사용하기 쉽고 다양한 운영 체제 및 프로그래밍 언어를 지원합니다. 4. 강력한 지역 사회 지원을 받고 풍부한 자원과 솔루션을 제공합니다.

Apache는 데이터베이스에 연결하여 다음 단계가 필요합니다. 데이터베이스 드라이버 설치. 연결 풀을 만들려면 Web.xml 파일을 구성하십시오. JDBC 데이터 소스를 작성하고 연결 설정을 지정하십시오. JDBC API를 사용하여 Connections, 명세서 작성, 매개 변수 바인딩, 쿼리 또는 업데이트 실행 및 처리를 포함하여 Java 코드의 데이터베이스에 액세스하십시오.

Docker에서 MySQL을 시작하는 프로세스는 다음 단계로 구성됩니다. MySQL 이미지를 가져와 컨테이너를 작성하고 시작하고 루트 사용자 암호를 설정하고 포트 확인 연결을 매핑하고 데이터베이스를 작성하고 사용자는 데이터베이스에 모든 권한을 부여합니다.

Centos에 MySQL을 설치하려면 다음 단계가 필요합니다. 적절한 MySQL Yum 소스 추가. mysql 서버를 설치하려면 yum install mysql-server 명령을 실행하십시오. mysql_secure_installation 명령을 사용하여 루트 사용자 비밀번호 설정과 같은 보안 설정을 작성하십시오. 필요에 따라 MySQL 구성 파일을 사용자 정의하십시오. MySQL 매개 변수를 조정하고 성능을 위해 데이터베이스를 최적화하십시오.

MySQL을 우아하게 설치하는 열쇠는 공식 MySQL 저장소를 추가하는 것입니다. 특정 단계는 다음과 같습니다. 피싱 공격을 방지하기 위해 MySQL 공식 GPG 키를 다운로드하십시오. MySQL 리포지토리 파일 추가 : rpm -uvh https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm yum repository cache : yum 업데이트 설치 mysql : yum 설치 mysql-server startup startup mysql 서비스 : systemctl start mysqlctl start mysqlctl.
