今天(August 5, 2015 5:34 PM)在給數據庫中一張表的結構做一次調整,添加了幾個字段,後面對之前的數據進行刷新,刷新的內容是:對其中的一個已有欄位url
進行匹配,然後更新新加的欄位type
和typeid
。後來我寫了個shell腳本來刷數據,結果運行shell腳本後我就懵了,怎麼這麼慢~~~
<code>CREATE TABLE `fuckSpeed` ( `uin` bigint(20) unsigned NOT NULL DEFAULT 0, `id` int(11) unsigned NOT NULL DEFAULT 0, `url` varchar(255) NOT NULL DEFAULT '', `type` int(11) unsigned NOT NULL DEFAULT 0, `typeid` varchar(64) NOT NULL DEFAULT '', ...... KEY `uin_id` (`uin`,`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;</code>
表結構大概是上面這樣的(省略了好多字段),表中只有一個聯合索引uin_id
,而我在更新的時候是下面的思路:
首先我想到的是不是因為只有一個進程在更新,導致很慢,我啟動了5個進程,將id分段了,就像下面這樣
<code>./update_url.sh 0 10000 & ./update_url.sh 10000 20001 & ./update_url.sh 20001 30001 & ./update_url.sh 30002 40002 & ./update_url.sh 40003 50003 &</code>
運行之後發現還是那樣,速度沒有提升多少,還是每秒鐘更新3~5個左右,想想也是啊,時間不可能花費在插入資料之前的那些步驟(匹配、組裝sql語句、。。。),應該是插入的時候有問題
再來看看我的sql語句select id,url from funkSpeed where id>=101 and id,這裡,試著在命令列執行了下,結果如下
<code>mysql> select id,url from funkSpeed where id>=0 and id<=200; Empty set (0.18 sec)</code>
竟然花了0.18秒,這時候我猜恍然大悟,聯合索引我沒有使用到,聯合索引生效的條件是--必須要有左邊的字段,用explain驗證下,果然是這樣:
<code>mysql> explain id,url from funkSpeed where id>=0 and id<=200; +-------------+------+---------------+------+---------+------+--------+-------------+ | table | type | possible_keys | key | key_len | ref | rows | Extra | +-------------+------+---------------+------+---------+------+--------+-------------+ | funkSpeed | ALL | NULL | NULL | NULL | NULL | 324746 | Using where | +-------------+------+---------------+------+---------+------+--------+-------------+ 1 row in set (0.00 sec)</code>
然後使用聯合索引:
<code>mysql> select uin,id from funkSpeed where uin=10023 and id=162; +------------+----------+ | uin | id | +------------+----------+ | 10023 | 162 | +------------+----------+ 1 row in set (0.00 sec) mysql> explain select uin,id from funkSpeed where uin=10023 and id=162; +-------------+------+---------------+----------+---------+-------------+------+-------------+ | table | type | possible_keys | key | key_len | ref | rows | Extra | +-------------+------+---------------+----------+---------+-------------+------+-------------+ | funkSpeed | ref | uin_id | uin_id | 12 | const,const | 4 | Using index | +-------------+------+---------------+----------+---------+-------------+------+-------------+ 1 row in set (0.00 sec)</code>
可以看到幾乎是秒查,這個時候基本上可以斷定問題是出現在索引這個地方了
我select的時候次數比較少,每兩個select之間id相差10000,所以這裡可以忽略掉,而且這裡沒辦法優化,除非在id上面加上索引。
問題發生在update fuckSpeed set type=[type],typeid=[typeid] where id=[id]
,這裡在更新的時候也是會用到查詢的,我的mysql版本是5.5,不能explain update
,不然肯定可以驗證我所說的,這裡要更新32w+條數據,每條數據都會去更新,每條數據0.2s左右,這太嚇人了~~
問題找到了,解決起來就容易多了~~
select的時候加了一個字段uin
,改為下面這樣select uin,id,url from funkSpeed where id>=101 and id,然後更新的時候使用<code>update fuckSpeed set type=[type],typeid=[typeid] where uin=[uin] id=[id]
,這樣一來索引就是用上了。
三下五除二改好了程式碼,試著啟動了一個進程,看看效果如何,果然,效果提升的不是一點點,平均30+次/s,這樣大概3個小時左右就可以完成所有的更新了。
微訊號: love_skills
越努力,越幸運!越幸運,越努力!
做上CEO不是夢
贏取白富美不是夢
屌絲逆襲不是夢
就是現在! !加油
以上就介紹了記一次MYSQL更新優化,包含了方面的內容,希望對PHP教學有興趣的朋友有幫助。