關於數據優化的詳細介紹

最近有一張2000W筆記錄的資料表需要最佳化和遷移。 2000W資料對於MySQL來說很尷尬，因為合理的創建索引速度還是挺快的，再怎麼優化速度也得不到太大提升。不過這些數據有大量的冗餘欄位和錯誤訊息，極不方便做統計和分析。所以我需要建立一張新表，把舊表中的數據一條一條取出來優化後放回新表；一. 清除冗餘數據，優化字段結構2000W數據中，能作為查詢條件的字段我們是預知的。所以將這部分資料單獨建立新的字段，對於有規則的資料合理地改變字段結構，例如身分證就是varchar(18)。對於不重要的資料我們合併後存在一個結構為text的欄位。對於一些有關聯的資料我們需要計算，常見的例如身分證種能取得到準確的性別，出生地、生日、年齡。二. 資料遷移我們從資料庫中取出一條舊數據，再透過計算處理後得到想要的新數據，最後將新資料插入新表。不過在取得新數據時遇到以下問題。資料量太大，無法一次取得（2000W資料丟到

1. 怎麼將MySQL中兩千萬資料進行最佳化與遷移

簡介：最近有一張2000W筆記錄的資料表需要最佳化和遷移。還是挺快的，再怎麼優化速度也得不到多大提升。

「介紹：開發專案過程中總是提到最佳化的概念，這篇文章是對Mysql資料優化實踐的一次探索旅程，簡要介紹了分區原因，方法，分區表管理方法和一次簡單的實踐。遷移

#簡介：最近有一張2000W筆記錄的資料表需要最佳化和遷移。 MySQL來說很尷尬，因為合理的創建索引速度還是挺快的，再怎麼優化速度也得不到多大提升。 Thinkphp  where()  方法的  尋找資料最佳化

#簡介：第一種方式{程式碼...} 第二種方式{程式碼...} 這兩種方法都可以實現我想要的操作但是第一種方法是否會對伺服器或資料庫造成壓力第二種是可以多寫這一行程式碼{程式碼...} 糾結中(⊙﹏⊙)

5. 為某XXX手機公司刪除重複資料優化一例

簡介：這是他們一個開發寫的SQL，目的是刪除重複數據，且id是最小值的行不刪除：deletefromjd_chapterawherea.`id`in(select`id`fromjd_chaptergroup&nbs..

#6. Oracle 最佳化統計資料之直方圖(histograms)

簡介：直方圖是一種依資料出現的頻率來進行分類儲存的方法.在oracle中直方圖是用來描述表中列資料的分佈情況.每一個sql在被執行前都要經

7. 如何借助HTML5微資料優化網頁？

##8. mysql 資料庫-mysql問題：從三個表查詢資料最佳化

簡介：我有三個表，三個表的資料全部查詢出來再排序，三個表的資料都很大，如何查詢才能最節省資源，最優。

9. mysql-MySql 資料統計Update Select最佳化#

簡介：請教下各位大神，mysq update資料優化 遇到的問題是這樣的。 表a有2個字段，ready_count,download_count 表b是統計表，有type,id 兩個表的儲存引擎都是MYISAM 需要把表b的資料count(1) group by(type)之後update到表a的那兩個字段中。 我現在的SQL是這樣的： update a _t1 set _t1.ready_count = ( SELECT count(1) FROM b _t2 WHERE _t2.tid = ...

10. MySQL寫入插入資料最佳化設定_MySQL

簡介：MySQL寫入插入資料最佳化設定

##【相關問答推薦】 ：

mysql 比較兩個表資料最佳化問題

#Thinkphp  where()  方法的  找出資料最佳化

以上是關於數據優化的詳細介紹的詳細內容。更多資訊請關注PHP中文網其他相關文章！