Best Practices für MongoDB-Indizes

Vorwort

Die meisten Entwickler wissen, dass die Indizierung schneller ist. Im eigentlichen Prozess stoßen wir jedoch häufig auf einige Fragen und Schwierigkeiten:

• Die von uns abgefragten Felder haben unterschiedliche Fälle. Müssen alle an der Abfrage beteiligten Felder indiziert werden?
• Wie wähle ich zwischen zusammengesetztem Index und einzelnem Feld? Ist es besser, beide oder jeweils ein einzelnes Feld hinzuzufügen?
• Gibt es Nebenwirkungen beim Hinzufügen eines Index?
• Der Index wurde hinzugefügt, aber er ist immer noch nicht schnell genug? was zu tun?

Dieser Artikel versucht, die Grundkenntnisse der Indizierung zu erläutern und die oben genannten Fragen zu beantworten.

1. Was genau ist ein Index?

Die meisten Entwickler, die mit Indizes in Berührung kommen, wissen wahrscheinlich, dass Indizes dem Katalog von Büchern ähneln. Sie müssen den gewünschten Inhalt finden, die qualifizierten Schlüsselwörter im Katalog finden und dann die Seitennummer des Buchs finden entsprechendes Kapitel und suchen Sie dann den spezifischen Inhalt.
In der Datenstruktur ähnelt die einfachste Indeximplementierung einer Hashmap, die über den Schlüsselwortschlüssel einem bestimmten Ort zugeordnet wird, um den spezifischen Inhalt zu finden. Doch zusätzlich zum Hashing gibt es viele Möglichkeiten, die Indizierung zu implementieren.

(1) Mehrere Implementierungsmethoden und Funktionen des Index

Hash / B-Tree / B+-Tree redis HSET / MongoDB&PostgreSQL / MySQL

Hashmap

Unterschied:

• B+-Tree-Blätter speichern Daten, Nicht-Blätter speichern Indizes, es werden keine Daten gespeichert, es gibt Verknüpfungen zwischen Blättern
• B-Tree-Nicht-Blätter können Daten speichern

In Bezug auf die Komplexität der Algorithmussuche:

• Hash liegt nahe bei O(1)
• b-Baum O(1)~ O(Log(n )) schnellere durchschnittliche Suchzeit, instabile Abfragezeit
• b+ Tree O(Log(n)) kontinuierliche Daten, Abfragestabilität

Warum MongoDB B-Tree anstelle von B+ wählt - für seinen Implementierungsbaum?
Viele Artikel im Internet haben dies erklärt, aber es ist nicht der Schwerpunkt dieses Artikels.

(2) Speicherung von Daten und Index

Der Index sollte so weit wie möglich im Speicher gespeichert werden, die Daten an zweiter Stelle.
Achten Sie darauf, nur die notwendigen Indizes beizubehalten und den Speicher so weit wie möglich zu nutzen.
Wenn der Indexspeicher fast voll ist, kann die Festplatte leichter gelesen werden und die Geschwindigkeit verringert sich.

(3) Gedanken nach Kenntnis des Implementierungs- und Speicherprinzips des Index

Einfügen/Aktualisieren/Löschen löst den Neuausgleichsbaum aus. Wenn also Daten hinzugefügt, gelöscht oder geändert werden, wird der Index ausgelöst Bei einer Änderung kommt es zu einem Leistungsverlust. Je mehr Indizes, desto besser. Welche Felder sollten in diesem Fall als Indizes ausgewählt werden? Was soll ich tun, wenn die Abfrage diese Bedingungen verwendet?
Nehmen Sie als Beispiel die einfachste Hashmap. Warum ist die Komplexität nicht O (1), sondern sozusagen nahe an O (1). Da es Schlüsselkonflikte/Duplikate gibt, muss die Datenbank bei der Suche danach immer noch abwechselnd weitersuchen, wenn es viele Daten mit Schlüsselkonflikten gibt. Das Gleiche gilt für B-Tree, wenn man sich die Schlüsselauswahl ansieht.
Ein Fehler, den die meisten Entwickler häufig machen, besteht darin, Schlüssel zu indizieren, die keine Unterscheidung haben. Beispielsweise verfügen viele Sammlungen nur über zentralisierte Kategorien von Typ-/Statusdokumenten mit einer Anzahl von Hunderttausenden oder mehr. Normalerweise ist diese Art von Index nicht hilfreich.

2. Zusammengesetzter Index

(1) Je mehr zusammengesetzte Indizes, desto besser

Wenn Sie nicht mehr redundante Indizes erstellen möchten, werden die Entwicklungskollegen zusammengesetzte auswählen & einzelne Felder Es ist manchmal ziemlich verwirrend. Machen wir ein paar Experimente anhand typischer Begegnungsszenarien:
Hier entsteht eine Kreditsammlung. Vereinfachen Sie auf nur 100 Daten. Diese Darlehenstabelle hat _id, userId, Status (Darlehensstatus), Betrag (Betrag). Als nächstes erstellen wir jeweils mehrere Indizes.

Schritt 1: Erstellen Sie zuerst {userId:1, status:1}db.loans.count()100

db.loans.find({ "userId" : "59e022d33f239800129c61c7", "status" : "repayed", }).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "cashLoan.loans",
"indexFilterSet" : false,
"parsedQuery" : {
 "$and" : [
   {
     "status" : {
       "$eq" : "repayed"
     }
   },
   {
     "userId" : {
       "$eq" : "59e022d33f239800129c61c7"
     }
   }
 ]
},
"queryHash" : "15D5A9A1",
"planCacheKey" : "15D5A9A1",
"winningPlan" : {
 "stage" : "COLLSCAN",
 "filter" : {
   "$and" : [
     {
       "status" : {
         "$eq" : "repayed"
       }
     },
     {
       "userId" : {
         "$eq" : "59e022d33f239800129c61c7"
       }
     }
   ]
 },
 "direction" : "forward"
},
"rejectedPlans" : [ ]
},
"serverInfo" : {
"host" : "RMBAP",
"port" : 27017,
"version" : "4.1.11",
"gitVersion" : "1b8a9f5dc5c3314042b55e7415a2a25045b32a94"
},
"ok" : 1
}

rrree

Ergebnis: {userId:1, status:1} wird als Gewinnerplan ausgewählt.
Schritt 2: Erstellen Sie eine typische Index-Benutzer-ID

db.loans.createIndex({userId:1, status:1})
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : 1,
"numIndexesAfter" : 2,
"ok" : 1
}

rrreeBeachten Sie, dass DB {userId:1, status:1} als bessere Ausführungslösung erkennt.

db.loans.find({ "userId" : "59e022d33f239800129c61c7", "status" : "repayed", }).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "cashLoan.loans",
"indexFilterSet" : false,
"parsedQuery" : {
 "$and" : [
   {
     "status" : {
       "$eq" : "repayed"
     }
   },
   {
     "userId" : {
       "$eq" : "59e022d33f239800129c61c7"
     }
   }
 ]
},
"queryHash" : "15D5A9A1",
"planCacheKey" : "BB87F2BA",
"winningPlan" : {
 "stage" : "FETCH",
 "inputStage" : {
   "stage" : "IXSCAN",
   "keyPattern" : {
     "userId" : 1,
     "status" : 1
   },
   "indexName" : "userId_1_status_1",
   "isMultiKey" : false,
   "multiKeyPaths" : {
     "userId" : [ ],
     "status" : [ ]
   },
   "isUnique" : false,
   "isSparse" : false,
   "isPartial" : false,
   "indexVersion" : 2,
   "direction" : "forward",
   "indexBounds" : {
     "userId" : [
       "["59e022d33f239800129c61c7", "59e022d33f239800129c61c7"]"
     ],
     "status" : [
       "["repayed", "repayed"]"
     ]
   }
 }
},
"rejectedPlans" : [ ]
},
"serverInfo" : {
"host" : "RMBAP",
"port" : 27017,
"version" : "4.1.11",
"gitVersion" : "1b8a9f5dc5c3314042b55e7415a2a25045b32a94"
},
"ok" : 1
}

Beachten Sie, dass DB {userId:1} als Lösung für eine bessere Ausführung erkennt, hmm~, wie wir erwartet haben.

db.loans.createIndex({userId:1})
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : 2,
"numIndexesAfter" : 3,
"ok" : 1
}

Interessanter Teil: Status trifft nicht auf den Index, vollständiger Tabellenscan

Der nächste Schritt besteht darin, eine Sortierung hinzuzufügen:

db.loans.find({ "userId" : "59e022d33f239800129c61c7", "status" : "repayed", }).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "cashLoan.loans",
"indexFilterSet" : false,
"parsedQuery" : {
 "$and" : [
   {
     "status" : {
       "$eq" : "repayed"
     }
   },
   {
     "userId" : {
       "$eq" : "59e022d33f239800129c61c7"
     }
   }
 ]
},
"queryHash" : "15D5A9A1",
"planCacheKey" : "1B1A4861",
"winningPlan" : {
 "stage" : "FETCH",
 "inputStage" : {
   "stage" : "IXSCAN",
   "keyPattern" : {
     "userId" : 1,
     "status" : 1
   },
   "indexName" : "userId_1_status_1",
   "isMultiKey" : false,
   "multiKeyPaths" : {
     "userId" : [ ],
     "status" : [ ]
   },
   "isUnique" : false,
   "isSparse" : false,
   "isPartial" : false,
   "indexVersion" : 2,
   "direction" : "forward",
   "indexBounds" : {
     "userId" : [
       "[\"59e022d33f239800129c61c7\", \"59e022d33f239800129c61c7\"]"
     ],
     "status" : [
       "[\"repayed\", \"repayed\"]"
     ]
   }
 }
},
"rejectedPlans" : [
 {
   "stage" : "FETCH",
   "filter" : {
     "status" : {
       "$eq" : "repayed"
     }
   },
   "inputStage" : {
     "stage" : "IXSCAN",
     "keyPattern" : {
       "userId" : 1
     },
     "indexName" : "userId_1",
     "isMultiKey" : false,
     "multiKeyPaths" : {
       "userId" : [ ]
     },
     "isUnique" : false,
     "isSparse" : false,
     "isPartial" : false,
     "indexVersion" : 2,
     "direction" : "forward",
     "indexBounds" : {
       "userId" : [
         "["59e022d33f239800129c61c7", "59e022d33f239800129c61c7"]"
       ]
     }
   }
 }
]
},
"serverInfo" : {
"host" : "RMBAP",
"port" : 27017,
"version" : "4.1.11",
"gitVersion" : "1b8a9f5dc5c3314042b55e7415a2a25045b32a94"
},
"ok" : 1
}

(2) Andere Versuche
Interessanter Teil: Status trifft nicht auf den Index

db.loans.find({ "userId" : "59e022d33f239800129c61c7" }).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "cashLoan.loans",
"indexFilterSet" : false,
"parsedQuery" : {
 "userId" : {
   "$eq" : "59e022d33f239800129c61c7"
 }
},
"queryHash" : "B1777DBA",
"planCacheKey" : "1F09D68E",
"winningPlan" : {
 "stage" : "FETCH",
 "inputStage" : {
   "stage" : "IXSCAN",
   "keyPattern" : {
     "userId" : 1
   },
   "indexName" : "userId_1",
   "isMultiKey" : false,
   "multiKeyPaths" : {
     "userId" : [ ]
   },
   "isUnique" : false,
   "isSparse" : false,
   "isPartial" : false,
   "indexVersion" : 2,
   "direction" : "forward",
   "indexBounds" : {
     "userId" : [
       "["59e022d33f239800129c61c7", "59e022d33f239800129c61c7"]"
     ]
   }
 }
},
"rejectedPlans" : [
 {
   "stage" : "FETCH",
   "inputStage" : {
     "stage" : "IXSCAN",
     "keyPattern" : {
       "userId" : 1,
       "status" : 1
     },
     "indexName" : "userId_1_status_1",
     "isMultiKey" : false,
     "multiKeyPaths" : {
       "userId" : [ ],
       "status" : [ ]
     },
     "isUnique" : false,
     "isSparse" : false,
     "isPartial" : false,
     "indexVersion" : 2,
     "direction" : "forward",
     "indexBounds" : {
       "userId" : [
         "["59e022d33f239800129c61c7", "59e022d33f239800129c61c7"]"
       ],
       "status" : [
         "[MinKey, MaxKey]"
       ]
     }
   }
 }
]
},
"serverInfo" : {
"host" : "RMBAP",
"port" : 27017,
"version" : "4.1.11",
"gitVersion" : "1b8a9f5dc5c3314042b55e7415a2a25045b32a94"
},
"ok" : 1
}

Wie wir vermutet haben, hat der Trefferindex nichts mit der Reihenfolge der Felder in der Abfrage zu tun.

Kommen wir zurück zum interessanten Teil: Wir löschen den Index {userId:1} besser, aber es gibt keinen Treffer. Zusammengesetzter Index, weil der Status nicht das führende Feld ist.

db.loans.find({ "status" : "repayed" }).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "cashLoan.loans",
"indexFilterSet" : false,
"parsedQuery" : {
 "status" : {
   "$eq" : "repayed"
 }
},
"queryHash" : "E6304EB6",
"planCacheKey" : "7A94191B",
"winningPlan" : {
 "stage" : "COLLSCAN",
 "filter" : {
   "status" : {
     "$eq" : "repayed"
   }
 },
 "direction" : "forward"
},
"rejectedPlans" : [ ]
},
"serverInfo" : {
"host" : "RMBAP",
"port" : 27017,
"version" : "4.1.11",
"gitVersion" : "1b8a9f5dc5c3314042b55e7415a2a25045b32a94"
},
"ok" : 1
}

Ändern Sie den Sortierwinkel erneut und tauschen Sie ihn mit der vorherigen Abfrage und Sortierung aus. Die vorherige war:

db.loans.find({ "userId" : "59e022d33f239800129c61c7" }).sort({status:1}).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "cashLoan.loans",
"indexFilterSet" : false,
"parsedQuery" : {
 "userId" : {
   "$eq" : "59e022d33f239800129c61c7"
 }
},
"queryHash" : "F5ABB1AA",
"planCacheKey" : "764CBAA8",
"winningPlan" : {
 "stage" : "FETCH",
 "inputStage" : {
   "stage" : "IXSCAN",
   "keyPattern" : {
     "userId" : 1,
     "status" : 1
   },
   "indexName" : "userId_1_status_1",
   "isMultiKey" : false,
   "multiKeyPaths" : {
     "userId" : [ ],
     "status" : [ ]
   },
   "isUnique" : false,
   "isSparse" : false,
   "isPartial" : false,
   "indexVersion" : 2,
   "direction" : "forward",
   "indexBounds" : {
     "userId" : [
       "["59e022d33f239800129c61c7", "59e022d33f239800129c61c7"]"
     ],
     "status" : [
       "[MinKey, MaxKey]"
     ]
   }
 }
},
"rejectedPlans" : [
 {
   "stage" : "SORT",
   "sortPattern" : {
     "status" : 1
   },
   "inputStage" : {
     "stage" : "SORT_KEY_GENERATOR",
     "inputStage" : {
       "stage" : "FETCH",
       "inputStage" : {
         "stage" : "IXSCAN",
         "keyPattern" : {
           "userId" : 1
         },
         "indexName" : "userId_1",
         "isMultiKey" : false,
         "multiKeyPaths" : {
           "userId" : [ ]
         },
         "isUnique" : false,
         "isSparse" : false,
         "isPartial" : false,
         "indexVersion" : 2,
         "direction" : "forward",
         "indexBounds" : {
           "userId" : [
             "["59e022d33f239800129c61c7", "59e022d33f239800129c61c7"]"
           ]
         }
       }
     }
   }
 }
]
},
"serverInfo" : {
"host" : "RMBAP",
"port" : 27017,
"version" : "4.1.11",
"gitVersion" : "1b8a9f5dc5c3314042b55e7415a2a25045b32a94"
},
"ok" : 1
}

Sehen Sie, was der Unterschied ist?

db.loans.find({ "status" : "repayed","userId" : "59e022d33f239800129c61c7", }).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "cashLoan.loans",
"indexFilterSet" : false,
"parsedQuery" : {
 "$and" : [
   {
     "status" : {
       "$eq" : "repayed"
     }
   },
   {
     "userId" : {
       "$eq" : "59e022d33f239800129c61c7"
     }
   }
 ]
},
"queryHash" : "15D5A9A1",
"planCacheKey" : "1B1A4861",
"winningPlan" : {
 "stage" : "FETCH",
 "inputStage" : {
   "stage" : "IXSCAN",
   "keyPattern" : {
     "userId" : 1,
     "status" : 1
   },
   "indexName" : "userId_1_status_1",
   "isMultiKey" : false,
   "multiKeyPaths" : {
     "userId" : [ ],
     "status" : [ ]
   },
   "isUnique" : false,
   "isSparse" : false,
   "isPartial" : false,
   "indexVersion" : 2,
   "direction" : "forward",
   "indexBounds" : {
     "userId" : [
       "[\"59e022d33f239800129c61c7\", \"59e022d33f239800129c61c7\"]"
     ],
     "status" : [
       "[\"repayed\", \"repayed\"]"
     ]
   }
 }
},
"rejectedPlans" : [
 {
   "stage" : "FETCH",
   "filter" : {
     "status" : {
       "$eq" : "repayed"
     }
   },
   "inputStage" : {
     "stage" : "IXSCAN",
     "keyPattern" : {
       "userId" : 1
     },
     "indexName" : "userId_1",
     "isMultiKey" : false,
     "multiKeyPaths" : {
       "userId" : [ ]
     },
     "isUnique" : false,
     "isSparse" : false,
     "isPartial" : false,
     "indexVersion" : 2,
     "direction" : "forward",
     "indexBounds" : {
       "userId" : [
         "["59e022d33f239800129c61c7", "59e022d33f239800129c61c7"]"
       ]
     }
   }
 }
]
},
"serverInfo" : {
"host" : "RMBAP",
"port" : 27017,
"version" : "4.1.11",
"gitVersion" : "1b8a9f5dc5c3314042b55e7415a2a25045b32a94"
},
"ok" : 1
}

Wie vermutet, klicken Sie auf den Index. Lass uns noch einmal spielen und den führenden eingereichten Test bestätigen:

db.loans.dropIndex("userId_1_status_1")
{ "nIndexesWas" : 2, "ok" : 1 }

db.loans.getIndexes()
[
{
"v" : 2,
"key" : {
 "id" : 1
},
"name" : "id_",
"ns" : "cashLoan.loans"
}
]

db.loans.createIndex({status:1, userId:1})
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : 1,
"numIndexesAfter" : 2,
"ok" : 1
}

db.loans.getIndexes()
[
{
"v" : 2,
"key" : {
 "id" : 1
},
"name" : "id_",
"ns" : "cashLoan.loans"
},
{
"v" : 2,
"key" : {
 "status" : 1,
 "userId" : 1
},
"name" : "status_1_userId_1",
"ns" : "cashLoan.loans"
}
]

db.loans.find({ "status" : "repayed" }).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "cashLoan.loans",
"indexFilterSet" : false,
"parsedQuery" : {
 "status" : {
   "$eq" : "repayed"
 }
},
"queryHash" : "E6304EB6",
"planCacheKey" : "7A94191B",
"winningPlan" : {
 "stage" : "FETCH",
 "inputStage" : {
   "stage" : "IXSCAN",
   "keyPattern" : {
     "status" : 1,
     "userId" : 1
   },
   "indexName" : "status_1_userId_1",
   "isMultiKey" : false,
   "multiKeyPaths" : {
     "status" : [ ],
     "userId" : [ ]
   },
   "isUnique" : false,
   "isSparse" : false,
   "isPartial" : false,
   "indexVersion" : 2,
   "direction" : "forward",
   "indexBounds" : {
     "status" : [
       "["repayed", "repayed"]"
     ],
     "userId" : [
       "[MinKey, MaxKey]"
     ]
   }
 }
},
"rejectedPlans" : [ ]
},
"serverInfo" : {
"host" : "RMBAP",
"port" : 27017,
"version" : "4.1.11",
"gitVersion" : "1b8a9f5dc5c3314042b55e7415a2a25045b32a94"
},
"ok" : 1
}

db.loans.getIndexes()
[
{
"v" : 2,
"key" : {
 "id" : 1
},
"name" : "id_",
"ns" : "cashLoan.loans"
},
{
"v" : 2,
"key" : {
 "status" : 1,
 "userId" : 1
},
"name" : "status_1_userId_1",
"ns" : "cashLoan.loans"
}
]

db.loans.find({"userId" : "59e022d33f239800129c61c7", }).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "cashLoan.loans",
"indexFilterSet" : false,
"parsedQuery" : {
 "userId" : {
   "$eq" : "59e022d33f239800129c61c7"
 }
},
"queryHash" : "B1777DBA",
"planCacheKey" : "5776AB9C",
"winningPlan" : {
 "stage" : "COLLSCAN",
 "filter" : {
   "userId" : {
     "$eq" : "59e022d33f239800129c61c7"
   }
 },
 "direction" : "forward"
},
"rejectedPlans" : [ ]
},
"serverInfo" : {
"host" : "RMBAP",
"port" : 27017,
"version" : "4.1.11",
"gitVersion" : "1b8a9f5dc5c3314042b55e7415a2a25045b32a94"
},
"ok" : 1
}

看完这个试验，明白了 {userId:1, status:1} vs {status:1,userId:1} 的差别了吗？

PS：这个case 里面其实status 区分度不高，这里只是作为实例展示。

三、总结：

• 注意使用上、使用频率上、区分高的/常用的在前面；
• 如果需要减少索引以节省memory/提高修改数据的性能的话，可以保留区分度高，常用的，去除区分度不高，不常用的索引。
• 学会用explain（）验证分析性能：

DB 一般都有执行器优化的分析，MySQL & MongoDB 都是 用explain 来做分析。
语法上MySQL :

explain your_sql

MongoDB:

yoursql.explain()

总结典型：理想的查询是结合explain 的指标，他们通常是多个的混合:

• IXSCAN  : 索引命中；
• Limit  : 带limit；
• Projection :  相当于非 select * ；
• Docs Size less is better  ；
• Docs Examined less is better ；
• nReturned=totalDocsExamined=totalKeysExamined ；
• SORT in index ：sort 也是命中索引，否则，需要拿到数据后，再执行一遍排序；
• Limit Array elements ： 限定数组返回的条数，数组也不应该太多数据，否则schema 设计不合理。

彩蛋

文末，还有最开头1个问题没回答：如果我的索引改加的都加了，还不够快,怎么办？
留个悬念，之后再写一篇。

更多PHP相关技术文章，请访问PHP教程栏目进行学习！

Das obige ist der detaillierte Inhalt vonBest Practices für MongoDB-Indizes. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!