首頁 資料庫 mysql教程 SQL Server数据库对上亿表的操作经验总结_MySQL

SQL Server数据库对上亿表的操作经验总结_MySQL

Jun 01, 2016 pm 02:00 PM
數據表

对上亿的表进行排序或者上亿的表之间进行join,会导致系统失去响应。

◆1.我确实做了一个很大的查询,涉及的数据表有两亿条记录,而且有一个group by操作,造成CPU、内存和磁盘开销均很大。后来和微软的人重新实验了一下,我的查询确实会造成系统反应变慢。后来我们也实验了一下,在这个2亿的表上统计一下行数,即select count(*) from table1,用了1分钟,内存涨了5G左右,磁盘子系统负荷很大,CPU也突然提高。这说明这种上亿的表的操作会非常严重的降低效率。

◆2.整个服务器的磁盘分配是这样的,网站访问的数据库库位于磁盘阵列中,而我们的统计临时库位于D盘中,C和D好像是一个磁盘组,也就相当于是在C盘。我们的数据库的大量磁盘I/O会导致系统的反应变慢。因此当我的查询很大的时候,就会使服务器整个系统变慢。

◆3.数据库的数据文件的自增长方式为每次1024k,数据文件的空间已经接近用光,而要发生增长,而增长空间要求应该比较大,所以就会不停的申请增长,造成磁盘开销较大。

◆4.操作中涉及到delete操作,会形成大量的日志,而上周扩容后,发现日志文件比以前缩小了,估计是重建了,昨天的操作会导致日志文件也要不断增长,也会造成磁盘的负荷加大。

解决办法:

针对一:

避免大表操作,所有的操作均可以按省或者时间分开,这样无论从时间或者地域维度,基本上可以将大表拆成30张以上的小表操作,甚至更多。然后再对结果进行合并,应该可以避免上述问题。

针对二:

无解决方案,只是建议将我们的数据库也单独分到一组磁盘上去,不要跟系统竞争。

针对三:

及时删除无用的临时数据,保障数据库空间,同时也可以做上空间监控,一旦数据文件空间发生增长时,给DBA一个预警邮件,我们收到邮件后可以立即做相应处理。

针对四:

日志文件目前已经涨得较大,我们执行一下截断日志的动作,将日志文件的空间使用保持在一个较低水平。

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

MySQL中的資料表壓縮技術 MySQL中的資料表壓縮技術 Jun 16, 2023 am 08:16 AM

MySQL是一種常見的關聯式資料庫,是許多網站和應用程式的核心元件。隨著資料量越來越大,如何優化MySQL的效能就變得尤為重要。其中一個關鍵領域是資料表的壓縮,在本文中我們將介紹MySQL中的資料表壓縮技術。壓縮表和非壓縮表MySQL中有兩種類型的資料表:壓縮表和非壓縮表。非壓縮表是MySQL預設的表類型,它使用固定長度的行格式,對資料進行儲存。這意味著數據

MySQL中的資料表DDL操作技術 MySQL中的資料表DDL操作技術 Jun 15, 2023 pm 07:55 PM

MySQL是一款非常受歡迎的開源關係型資料庫管理系統,它支援完整的DDL(資料定義語言)操作。 DDL是用來定義和管理資料庫中各種資料物件的語言,包括資料表、檢視和索引等。對於資料庫管理員和開發人員而言,熟練MySQL中資料表DDL操作技術非常重要。本文將詳細介紹MySQL中資料表DDL操作的技術與方法,並提供實際操作範例。一、建立資料表建立資料表是DDL中

mysql修改資料表名 mysql修改資料表名 Jun 20, 2023 pm 05:52 PM

MySQL修改資料表:1.先檢視資料庫中所有的表,代碼為:「SHOW TABLES;」;2、修改表名,代碼為:「ALTER TABLE 舊表名 RENAME [TO] 新表名;」。 3.檢查表名是否修改成功,代碼為:“SHOW TABLES;”

MySQL中的資料表重載技巧 MySQL中的資料表重載技巧 Jun 15, 2023 pm 11:28 PM

MySQL是一種開源關係型資料庫管理系統,它的基本功能在資料庫設計、資料儲存和管理方面非常優秀。在MySQL中,資料表是資料儲存的最基本單元。在實際應用中,資料表的重載是一種非常常見的操作技巧,它可以幫助我們提高資料庫的運作效率,並提升系統的穩定性。本文將從MySQL中資料表重載的概念、原理和實務應用等方面詳細介紹這項操作技巧。一、什麼是資料表重載資料表重載是

利用MySQL的AVG函數計算資料表中數字列的平均值方法 利用MySQL的AVG函數計算資料表中數字列的平均值方法 Jul 24, 2023 pm 09:52 PM

利用MySQL的AVG函數計算資料表中數字列的平均值方法簡介:MySQL是一種開源的關聯式資料庫管理系統,擁有豐富的內建函數來處理和計算資料。其中,AVG函數是用來計算數字列的平均值的函數。本文將介紹如何使用AVG函數來計算MySQL資料表中數字列的平均值,並提供相關的程式碼範例。一、建立範例資料表首先,我們需要建立一個範例資料表來進行示範。假設我們有一個名為

如何利用thinkorm實現資料表之間的關聯查詢 如何利用thinkorm實現資料表之間的關聯查詢 Aug 01, 2023 am 08:25 AM

如何利用thinkorm實作資料表之間的關聯查詢引言:在進行資料庫開發中,常常會碰到需要在多個資料表之間進行關聯查詢的情況。利用thinkorm這個優秀的資料庫ORM框架,可以輕鬆實現資料表的關聯查詢,提高開發效率。本文將介紹如何利用thinkorm實作資料表之間的關聯查詢,並提供程式碼範例幫助讀者更好地理解。一、基本概念在進行關聯查詢之前,首先需要了解th

如何實現MySQL底層優化:資料表的水平和垂直分割策略 如何實現MySQL底層優化:資料表的水平和垂直分割策略 Nov 08, 2023 pm 06:57 PM

如何實現MySQL底層最佳化:資料表的水平和垂直分割策略,需要具體程式碼範例引言:在大型應用場景下,MySQL資料庫經常面臨著大量資料的儲存和查詢壓力。為了解決這個問題,MySQL提供了資料表的分割策略,包括水平分割(Horizo​​ntalPartitioning)和垂直分割(VerticalPartitioning)。本文將介紹如何實作MySQL底層最佳化,重

MySQL中如何使用MAX函數找到資料表中最大的數值 MySQL中如何使用MAX函數找到資料表中最大的數值 Jul 25, 2023 pm 09:49 PM

MySQL中如何使用MAX函數來找到資料表中最大的數值引言:在MySQL中,我們經常需要對資料表進行各種查詢和分析,其中包括找出資料表中的最大數值。使用MAX函數可以輕鬆找到資料表中的最大值,並且在進一步處理資料時非常有用。本文將介紹如何使用MAX函數來找出資料表中最大的數值,並給出對應的程式碼範例。一、MAX函數簡介MAX函數是MySQL中的一個聚合函數,用

See all articles