Heim Datenbank MySQL-Tutorial mongodb sharding基本概念

mongodb sharding基本概念

Jun 07, 2016 pm 02:58 PM
mongodb sharding 基本概念

mongodb sharding基本概念 这里先介绍sharding的架构和几个基本概念术语。 shard server :shard server可以使一个mongod实例,也可以是replica set。 config sever:为了将指定collection存储在多个shard中,那么就需要个key来进行分割,config server存储

mongodb sharding基本概念

 

这里先介绍sharding的架构和几个基本概念术语。

shard server :shard server可以使一个mongod实例,也可以是replica set。

config sever:为了将指定collection存储在多个shard中,那么就需要个key来进行分割,config server存储各个节点的配置信息。shard key的范围,以及分布情况。

route process:由此介入客户端,通过询问config server,确定到那个shard上面查询,在连接相应的shard操作,不保存数据和配置信息。

由于资源限制,在一台机子上做一下实验

Shard Server 1:30000

Shard Server 2:30001

Config Server :40000

Route Process:50000

步骤:

启动shard server 1和2

[mongo@172_16_3_216 mongo]$ mkdir -p /mongo/shard/data0

[mongo@172_16_3_216 mongo]$ mkdir -p /mongo/shard/data1

[mongo@172_16_3_216 mongo]$ touch shard.log

[mongo@172_16_3_216 mongo]$ mongod --shardsvr --port 30000 --dbpath /mongo/shard/data0 --fork --logpath shard.log --directoryperdb

[mongo@172_16_3_216 mongo]$ touch shard1.log

[mongo@172_16_3_216 mongo]$ mongod --shardsvr --port 30001 --dbpath /mongo/shard/data1 --fork --logpath shard1.log --directoryperdb

启动config server

[mongo@172_16_3_216 mongo]$ mkdir -p /mongo/shard/config

[mongo@172_16_3_216 mongo]$ touch config.log

[mongo@172_16_3_216 mongo]$ mongod --configsvr --port 40000 --dbpath /mongo/shard/config --fork --logpath config.log --directoryperdb

启动route process

[mongo@172_16_3_216 mongo]$ touch route.log

[mongo@172_16_3_216 mongo]$ mongos --port 50000 --configdb localhost:40000 --fork --logpath route.log --chunkSize 2

初始化sharding

mongo admin --port 50000

MongoDB shell version: 1.8.4

connecting to: 127.0.0.1:50000/admin

> db.runCommand({addshard:"localhost:30000"})       ----添加shard1

{ "shardAdded" : "shard0000", "ok" : 1 }

> db.runCommand({addshard:"localhost:30001"})        -----添加shard2

{ "shardAdded" : "shard0001", "ok" : 1 }

> db.runCommand({enablesharding:"test"})            ---对数据库test分片

{ "ok" : 1 }

> db.runCommand({shardcollection:"test.tb1",key:{_id:1}})          ---对数据库test中tb1按_id作为key

{ "collectionsharded" : "test.tb1", "ok" : 1 }

验证sharding

> for (var i=1;i

> db.tb1.stats()

{

        "sharded" : true,

        "ns" : "test.tb1",

        "count" : 50000,

        "size" : 3600016,

        "avgObjSize" : 72.00032,

        "storageSize" : 13975552,

        "nindexes" : 1,

        "nchunks" : 4,

        "shards" : {

                "shard0000" : {

                        "ns" : "test.tb1",

                        "count" : 17888,

                        "size" : 1287944,

                        "avgObjSize" : 72.00044722719142,

                        "storageSize" : 2793472,

                        "numExtents" : 5,

                        "nindexes" : 1,

                        "lastExtentSize" : 2097152,

                        "paddingFactor" : 1,

                        "flags" : 1,

                        "totalIndexSize" : 753664,

                        "indexSizes" : {

                                "_id_" : 753664

                        },

                        "ok" : 1

                },

                "shard0001" : {

                        "ns" : "test.tb1",

                        "count" : 32112,

                        "size" : 2312072,

                        "avgObjSize" : 72.00024912805182,

                        "storageSize" : 11182080,

                        "numExtents" : 6,

                        "nindexes" : 1,

                        "lastExtentSize" : 8388608,

                        "paddingFactor" : 1,

                        "flags" : 1,

                        "totalIndexSize" : 1343488,

                        "indexSizes" : {

                                "_id_" : 1343488

                        },

                        "ok" : 1

                }

        },

        "ok" : 1

}

查看sharding信息:

> db.runCommand({listshards:1})

{

        "shards" : [

                {

                        "_id" : "shard0000",

                        "host" : "localhost:30000"

                },

                {

                        "_id" : "shard0001",

                        "host" : "localhost:30001"

                }

        ],

        "ok" : 1

}

新增shard server:

[mongo@172_16_3_216 mongo]$ mkdir -p /mongo/shard/data2

[mongo@172_16_3_216 mongo]$ touch shard2.log

[mongo@172_16_3_216 mongo]$ mongod --shardsvr --port 30002 --dbpath /mongo/shard/data2 --fork --logpath shard2.log --directoryperdb

> db.runCommand({ addshard:"localhost:30002" })

{ "shardAdded" : "shard0002", "ok" : 1 }

> db.runCommand({listshards:1})

{

        "shards" : [

                {

                        "_id" : "shard0000",

                        "host" : "localhost:30000"

                },

                {

                        "_id" : "shard0001",

                        "host" : "localhost:30001"

                },

                {

                        "_id" : "shard0002",

                        "host" : "localhost:30002"

                }

        ],

        "ok" : 1

}

如果分片的表继续有插入数据,那么数据就会分配到新加的片上,而且会根据sharding key进行数据的迁移,和重新分布。

所以建议在添加删除节点的时候,建议避开高峰期,在业务最低谷的时候操作。

删除shard server:

> use admin 

switched to db admin

>  db.runCommand({"removeshard" : "localhost:30002"});

{

        "msg" : "draining started successfully",

        "state" : "started",

        "shard" : "shard0002",

        "ok" : 1

}

很简单,remove就可以了,原来的数据会按照key分配到剩下的shard server上。

最后> db.printShardingStatus()可以查看sharding的信息。注意:操作都是在route process上面,不要登录到shard server操作。

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Repo: Wie man Teamkollegen wiederbelebt
1 Monate vor By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Welche Version wird im Allgemeinen für Mongodb verwendet? Welche Version wird im Allgemeinen für Mongodb verwendet? Apr 07, 2024 pm 05:48 PM

Es wird empfohlen, die neueste Version von MongoDB (derzeit 5.0) zu verwenden, da diese die neuesten Funktionen und Verbesserungen bietet. Bei der Auswahl einer Version müssen Sie funktionale Anforderungen, Kompatibilität, Stabilität und Community-Unterstützung berücksichtigen. Die neueste Version verfügt beispielsweise über Funktionen wie Transaktions- und Aggregationspipeline-Optimierung. Stellen Sie sicher, dass die Version mit der Anwendung kompatibel ist. Wählen Sie für Produktionsumgebungen die Langzeit-Support-Version. Die neueste Version bietet eine aktivere Community-Unterstützung.

Der Unterschied zwischen NodeJS und VueJS Der Unterschied zwischen NodeJS und VueJS Apr 21, 2024 am 04:17 AM

Node.js ist eine serverseitige JavaScript-Laufzeitumgebung, während Vue.js ein clientseitiges JavaScript-Framework zum Erstellen interaktiver Benutzeroberflächen ist. Node.js wird für die serverseitige Entwicklung verwendet, beispielsweise für die Entwicklung von Back-End-Service-APIs und die Datenverarbeitung, während Vue.js für die clientseitige Entwicklung verwendet wird, beispielsweise für Single-Page-Anwendungen und reaktionsfähige Benutzeroberflächen.

Wo wird die von mongodb erstellte Datenbank erstellt? Wo wird die von mongodb erstellte Datenbank erstellt? Apr 07, 2024 pm 05:39 PM

Die Daten der MongoDB-Datenbank werden im angegebenen Datenverzeichnis gespeichert, das sich im lokalen Dateisystem, Netzwerkdateisystem oder Cloud-Speicher befinden kann. Der spezifische Speicherort ist wie folgt: Lokales Dateisystem: Der Standardpfad ist Linux/macOS: /data/db, Windows: C:\data\db. Netzwerkdateisystem: Der Pfad hängt vom Dateisystem ab. Cloud-Speicher: Der Pfad wird vom Cloud-Speicheranbieter bestimmt.

Was sind die Vorteile der Mongodb-Datenbank? Was sind die Vorteile der Mongodb-Datenbank? Apr 07, 2024 pm 05:21 PM

Die MongoDB-Datenbank ist für ihre Flexibilität, Skalierbarkeit und hohe Leistung bekannt. Zu seinen Vorteilen gehört: ein Dokumentdatenmodell, das eine flexible und unstrukturierte Speicherung von Daten ermöglicht. Horizontale Skalierbarkeit auf mehrere Server über Sharding. Abfrageflexibilität, Unterstützung komplexer Abfragen und Aggregationsvorgänge. Datenreplikation und Fehlertoleranz sorgen für Datenredundanz und hohe Verfügbarkeit. JSON-Unterstützung für einfache Integration mit Front-End-Anwendungen. Hohe Leistung für schnelle Reaktion auch bei der Verarbeitung großer Datenmengen. Open Source, anpassbar und kostenlos nutzbar.

Was bedeutet Mongodb? Was bedeutet Mongodb? Apr 07, 2024 pm 05:57 PM

MongoDB ist ein dokumentenorientiertes, verteiltes Datenbanksystem zur Speicherung und Verwaltung großer Mengen strukturierter und unstrukturierter Daten. Zu den Kernkonzepten gehören die Speicherung und Verteilung von Dokumenten und zu den Hauptfunktionen gehören dynamische Schemata, Indizierung, Aggregation, Kartenreduzierung und Replikation. Es wird häufig in Content-Management-Systemen, E-Commerce-Plattformen, Social-Media-Websites, IoT-Anwendungen und der Entwicklung mobiler Anwendungen eingesetzt.

Erste Schritte mit Java-Crawlern: Verstehen Sie die grundlegenden Konzepte und Anwendungsmethoden Erste Schritte mit Java-Crawlern: Verstehen Sie die grundlegenden Konzepte und Anwendungsmethoden Jan 10, 2024 pm 07:42 PM

Eine vorläufige Studie zu Java-Crawlern: Um seine grundlegenden Konzepte und Verwendungsmöglichkeiten zu verstehen, sind spezifische Codebeispiele erforderlich. Mit der rasanten Entwicklung des Internets ist die Beschaffung und Verarbeitung großer Datenmengen für Unternehmen und Einzelpersonen zu einer unverzichtbaren Aufgabe geworden. Als automatisierte Datenerfassungsmethode kann Crawler (WebScraping) nicht nur schnell Daten im Internet sammeln, sondern auch große Datenmengen analysieren und verarbeiten. Crawler sind in vielen Data-Mining- und Information-Retrieval-Projekten zu einem sehr wichtigen Werkzeug geworden. In diesem Artikel wird ein grundlegender Überblick über Java-Crawler gegeben

Wo sind die Mongodb-Datenbankdateien? Wo sind die Mongodb-Datenbankdateien? Apr 07, 2024 pm 05:42 PM

Die MongoDB-Datenbankdatei befindet sich im MongoDB-Datenverzeichnis, das standardmäßig /data/db ist und .bson (Dokumentdaten), ns (Sammlungsinformationen), Journal (Schreibvorgangsdatensätze) und wiredTiger (Daten bei Verwendung von WiredTiger) enthält Speicher-Engine) und config (Datenbankkonfigurationsinformationen) und andere Dateien.

So öffnen Sie Mongodb So öffnen Sie Mongodb Apr 07, 2024 pm 06:15 PM

Unter Linux/macOS: Erstellen Sie das Datenverzeichnis und starten Sie den Dienst „mongod“. Unter Windows: Erstellen Sie das Datenverzeichnis und starten Sie den MongoDB-Dienst über den Service Manager. In Docker: Führen Sie den Befehl „docker run“ aus. Auf anderen Plattformen: Bitte konsultieren Sie die MongoDB-Dokumentation. Überprüfungsmethode: Führen Sie den Befehl „mongo“ aus, um eine Verbindung herzustellen und die Serverversion anzuzeigen.

See all articles