Exemple détaillé de la façon dont MyBatis implémente la sous-base de données et la sous-explication de la base de données Mysql

Cet article présente principalement le fonctionnement et le résumé de la mise en œuvre par MyBatis de la base de données Mysql et du partage de tables. Les amis dans le besoin peuvent s'y référer

Avant-propos

En tant que base de données, en tant que table dans la base de données, à mesure que le nombre d'utilisateurs augmente et que le temps passe, un jour, la quantité de données sera si importante qu'elle sera difficile à gérer. À l'heure actuelle, les données d'une seule table dépassent les dizaines de millions. Qu'il s'agisse d'interrogation ou de modification, son opération prendra beaucoup de temps.

Les étapes les plus simples pour implémenter des sous-tableaux dans MyBatis

Le titre de l'article étant écrit ainsi, il est plus pratique de allons directement aux informations pratiques. Voyons d’abord comment implémenter le sous-tableau le plus simple.

1. Le volume de données de notre table utilisateur simulée dépasse des dizaines de millions (bien que ce soit en réalité peu probable)

2 Le nom d'origine de la table utilisateur est

, et nous divisons. en user_tab et user_tab_0 (en fait, ce n'est peut-être pas un nom si aléatoire), de sorte que les dizaines de millions de données d'origine puissent être séparées en deux tables avec une quantité de deux millions de données. user_tab_1

3. Comment faire fonctionner ces deux tables ? Nous utilisons userId, qui est l'identifiant unique de l'utilisateur, pour faire la distinction.

4. La table des opérations utilisateur de

userId%2 == 0, de la même manière la table des opérations utilisateur de user_tab_0 userId%2 == 1user_tab_1

5 Alors, comment implémenter les instructions SQL dans MyBatis ? Ce qui suit est un exemple d'interrogation de l'instruction SQL d'un utilisateur

<select id="getUser" parameterType="java.util.Map" resultType="UserDO"> 
    SELECT userId, name 
    FROM user_tab_#{tabIndex} 
    WHERE userId = #{userId} 
</select>

Parmi eux, nous transmettons deux paramètres tabIndex et userId est la valeur de l'indicateur de l'opération. table (0 ou 1), donc si vous devez interroger l'utilisateur dont l'ID utilisateur est 5, l'instruction SQL finale sera :

SELECT userId, name 
FROM user_tab_1 
WHERE userId = 5

Autres services DAO redondants et les implémentations que j'ai ici, je ne vous montrerai pas grand-chose, je pense que vous êtes assez intelligent pour le faire.

Ce qui précède est l'implémentation la plus simple. Elle ne nécessite aucun framework supplémentaire ni aucun plug-in pour répondre aux exigences des sous-tables.

Ce qui précède représente essentiellement tout le contenu de la mise en œuvre. Nous allons maintenant commencer à parler en détail des détails de la séparation. Ceux qui regardent l'excitation peuvent essentiellement partir.

J'en parlerai sous les angles suivants. Je l'ai mis dans la langue vernaculaire la plus simple possible.

Méthodes de séparation

Il existe deux méthodes principales de segmentation, la segmentation horizontale et la segmentation verticale.

1. Segmentation horizontale

Pour faire simple, divisez une table en plusieurs tables identiques, et puis les noms de tables sont différents. Tout comme l'exemple le plus simple ci-dessus.

Ce type de segmentation convient aux situations où la quantité de données dans une table est trop importante et le temps de fonctionnement est ralenti, comme dans certaines tables d'enregistrements enregistrées.

2. Segmentation verticale

Divisez les différents modules métier en différentes bases de données. Ces modules métier sont directement couplés en 0 (en termes simples, ils n'ont rien à voir les uns avec les autres).

Cela convient principalement aux situations où la quantité de données est généralement importante et où les scénarios commerciaux sont dispersés et il n'y a pas de relation logique entre eux.

Stratégie de séparation

Il existe de nombreuses stratégies spécifiques. Vous pouvez également concevoir les vôtres. Les stratégies courantes sont les suivantes : C'est juste une liste sans. entrer dans les détails.

1. Le modulo « % », qui est ce qui est implémenté dans l'exemple ci-dessus, est également le plus simple.

2. Hachage MD5

3. Décalage

4. Date et heure (divisez les tables selon différentes dates, comme une table par mois, et opérez ce mois-ci. la table sera remplacée le mois prochain)

5. Plage d'énumération (les utilisateurs 1 à 10 000 exploitent la première table, les utilisateurs 10 001 à 20 000 exploitent la deuxième table)

Le problème de séparation

Parlons du dernier point et des problèmes qu'il provoque.

La base de données n'est certainement pas quelque chose que vous pouvez diviser vous-même. (Les gens sont plus émotifs, comment peuvent-ils simplement rompre ?)

Sérieusement parlant, j'ai énuméré les problèmes suivants que la séparation ne fera que causer.

1. Le problème de l'unicité de la clé primaire lors de l'ajout ; après avoir séparé plusieurs tables, la clé primaire auto-croissante d'origine ne sera pas unique, il n'y a donc aucun moyen de s'auto-augmenter, ce qui entraînerait des problèmes, et il existe des solutions, telles que la conservation d'une table de clé primaire distincte spécifiquement pour stocker la clé primaire actuelle, ou l'utilisation d'un autre middleware, etc.

2. Bien que le problème d'efficacité lors de l'ajout de nouvelles données ne soit pas un gros problème, l'ajout de nouvelles données augmentera certainement la quantité de calcul. Ce problème peut être ignoré.

3. Le problème de pagination causé par la requête. Une fois séparée en plusieurs tables, la requête de pagination sera très difficile. Cela prend également en compte le fait que différentes séparations nécessitent des solutions différentes.

4. De la même manière, pour les requêtes liées, à l'origine il était très simple d'associer une table à une autre table ou une autre table à une table, mais maintenant c'est difficile après séparation.

5. Problèmes de transaction. Plusieurs tables doivent utiliser des transactions distribuées pour terminer les opérations d'origine avec les transactions. Étant donné que la transaction d'origine ne verrouillait qu'une seule table, elle peut désormais verrouiller plusieurs tables.

6. Problèmes d'évolutivité. Certaines stratégies de partitionnement n'offrent pas une bonne évolutivité des données. Si davantage de données arrivent plus tard, cela signifie-t-il que vous pouvez créer de nouvelles tables à développer ?

Principes de séparation

Ce qui suit résume plusieurs principes de séparation, qui reposent principalement sur des références sur Internet sans aucun fondement réel (je ne suis ni A Un administrateur de base de données avec un salaire annuel d'un million ne peut pas accéder à des données aussi volumineuses pour les tester), donc si vous avez des questions, veuillez les signaler.

1. Si vous ne pouvez pas vous séparer, ne vous séparez pas

2 Si vous pouvez séparer moins, ne vous séparez pas plus

3.

4 , Évitez d'utiliser des transactions distribuées, principalement parce que c'est trop difficile et que je ne sais pas comment faire

5. S'il y a moins de 10 millions d'enregistrements dans une seule table, il ne sera pas divisé

6. Si vous ne le divisez pas maintenant, il sera trop tard pour le diviser plus tard

7 Expansion, couplage et examen attentif

Comment réaliser la séparation

Enfin, parlons de la méthode de séparation, qui est désormais populaire. Le meilleur framework DAO est MyBatis, mais il en existe bien d'autres cadres. La séparation est principalement mise en œuvre des manières suivantes.

1. L'implémentation native, tout comme l'exemple ci-dessus, ne nécessite rien d'autre. Utilisez le framework natif pour contrôler vous-même l'implémentation.

Les avantages sont : facile à contrôler et à prendre des initiatives.

Les inconvénients sont : il y a beaucoup de code, vous devez le connaître clairement, il n'est pas pratique à modifier et il ne prend pas en charge la segmentation complexe. Par exemple, vous devez effectuer des requêtes de pagination après la segmentation. , ainsi que les principales questions clés mentionnées ci-dessus, etc.

2. Implémentation du plug-in, utilisez certains plug-ins développés par le framework lui-même pour implémenter ces plug-ins, puis utilisez les plug-ins pour accéder à la base de données afin de réaliser directement la séparation.

Les avantages sont : moins de code, une mise en œuvre simple et une bonne évolutivité.

Les inconvénients sont : difficile à contrôler, méthodes de séparation limitées et problèmes difficiles à résoudre. Aucun plug-in particulièrement mature trouvé.

3. Implémentation du middleware. Utilisez un middleware d'accès à la base de données pour effectuer certaines opérations avant d'accéder à la base de données afin d'apporter les modifications correspondantes dans SQL afin d'obtenir la séparation.

Les avantages sont : un petit couplage, une bonne évolutivité et peuvent résoudre le problème des transactions distribuées.

C'est définitivement : la mise en œuvre est compliquée, nécessite l'apprentissage du middleware, et le coût est élevé. La maintenance est également un gros problème, en cas de panne. .

En bref, chaque méthode a ses propres mérites, mais vu le coût, la première méthode coûte presque 0, on peut se lancer, et c'est plus facile à contrôler, tout comme l'exemple donné ci-dessus, et les données Je suis actuellement en train de traiter. Nous n’avons pas encore atteint le point où nous devons nous séparer partout, alors je choisis la première option. Également recommandé. Si vous trouvez un plug-in ou un middleware plus simple à utiliser, vous pouvez le recommander dans les commentaires.

Résumé

Dans le projet lui-même, j'ai dû séparer l'utilisateur car il y avait trop d'enregistrements de compte et parce que les enregistrements de compte étaient plus La plupart d'entre eux ne sont que de nouveaux ajouts sans modification ni suppression, et il n'y a que quelques requêtes, donc la manière la plus simple est utilisée pour la séparation et la stratégie la plus simple est choisie. J’espère que le résumé ci-dessus des principes, stratégies, méthodes et problèmes pourra vous être utile et servir de référence. Si vous avez des questions, laissez-moi un message et je vous répondrai à temps. Je tiens également à vous remercier tous pour votre soutien au site Script House !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!