一个用户迁移数据库前后的性能差异case_MySQL
问题
一个用户问题，数据从ECS迁移到RDS，相同的语句，查询性能下降了几十倍。而实际上RDS这个实例在内存上的配置与原来ECS上的实例相当。
<code style="padding: 0px; font-family: inherit; font-size: 14px; color: inherit; border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; background-color: transparent; border: 0px; font-style: inherit; font-weight: inherit;">本文简单说明这个case的原因及建议。用户反馈性能变慢的语句为 （修改了真实表明和列名）select count(1)from HR hr join H h on h.hid = hr.hid join A e one.aid = h.eid join A t on t.aid = e.pid join A c on c.aid = t.pid join A p on p.aid = c.pidleft join U u on u.uid = hr.uId left join E emp on emp.eid = hr.oid where( hr.s in (1,2,3,4)and hr.cn = 0 );</code>
背景
<code style="padding: 0px; font-family: inherit; font-size: 14px; color: inherit; border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; background-color: transparent; border: 0px; font-style: inherit; font-weight: inherit;">MySQL执行语句过程中涉及到两大流程：优化器和执行器。其中优化器最主要的任务，是选择索引和在多表连接时选择连接顺序。在这个case中，join顺序的选择影响了执行性能。确定join执行顺序就需要估算所有join操作的代价。默认配置下MySQL会估算所有可能的组合。MySQL Tips: MySQL里限制一个查询的join表数目上限为61.对于一个有61个表参与的join操作，理论上需要61!(阶乘)次的评估。当然这是最坏情况下，实际上减枝算法会让这个数字看起来稍微好一点，但是仍然很恐怖。在多表join的场景下，为了避免优化器占用太多时间，MySQL提供了一个参数 optimizer_search_depth 来控制递归深度。这个参数对算法的控制可以简单描述为：对于所有的排列，只取前当前join顺序的前optimizer_search_depth个表估算代价。举例来说，20张表的，假设optimizer_search_depth为4，那么评估次数为20*19*18*17，虽然也很大（因此我们特别不建议这么多表的join），比20！好多了。于是optimizer_search_depth的选择就成了问题。</code>
<code style="padding: 0px; font-family: inherit; font-size: 14px; color: inherit; border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; background-color: transparent; border: 0px; font-style: inherit; font-weight: inherit;">MySQL Tips: MySQL中optimizer_search_depth默认值为62.也就是说默认为全排列计算。</code>
<code style="padding: 0px; font-family: inherit; font-size: 14px; color: inherit; border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; background-color: transparent; border: 0px; font-style: inherit; font-weight: inherit;">这样能够保证得到最优的执行计划，只是在有些场景下，决定执行计划的时间会远大于执行时间本身。</code>
量化分析
在ECS上，是用户自己维护的MySQL，没有设置optimizer_search_depth，因此为默认的62.
在RDS上，我们的配置是4。
分析到这里大家能猜到原因是RDS配置的4导致没有得到最优的执行计划。
<code style="padding: 0px; font-family: inherit; font-size: 14px; color: inherit; border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; background-color: transparent; border: 0px; font-style: inherit; font-weight: inherit;">下图是optimizer_search_depth=4时的explain结果（隐藏了业务相关的表名、字段名)<img src="/static/imghw/default1.png" data-src="http://img.bitscn.com/upimg/allimg/c140719/1405KJ0BGZ-21153.jpg" class="lazy" alt="alt" style="max-width:90%">下图是optimizer_search_depth=62是的场景，当然这个case的join表是8个，因此62和8在这里是等效的。<img src="/static/imghw/default1.png" data-src="http://img.bitscn.com/upimg/allimg/c140719/1405KJ0G0940-33412.jpg" class="lazy" alt="alt" style="max-width:90%">从图1可以看到，由于optimizer_search_depth=4，优化器认为自己选择了最优的join顺序(22039*1*1*1)，优于(41360*1*1*1)，而实际上后者才是全局最优。有趣的是，在这个case里面如果多看一层，就能得到最有解，因为第一个join顺序的第五个表评估rows为82720。这意味着，在这个case里面，设置为5与设置为62能得到相同的执行计划，当然设置为5时的优化器执行代价更小。这其实也就是提供optimizer_search_depth的本意：减少优化器执行时间，而且概率上还存在局部最优就是全局最优解的情况。</code>
关于实践
可配置的参数提供灵活性的同时，也提出一个头疼的问题：应该设置为多少才合适。
实际上当用户执行一个多表join的时候，对这个语句的整体RT的期望值就不会高。因此可以先定义一个预期，比如优化器决策join顺序的时间不能超过500ms。
用户规格与cpu相关，因此这个只能是建议值。
用户实践
实际上更重要的是对于用户来说：
<code style="padding: 0px; font-family: inherit; font-size: 14px; color: inherit; border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; background-color: transparent; border: 0px; font-style: inherit; font-weight: inherit;">1) 当出现实例迁移后，多表join执行结果差异较大的时候，要考虑调整这个值。该参数是允许线程单独设置，因此对于应用层来说，每个连接应该都能得到一个较优的值。2) 反过来，当设置为默认的optimizer_search_depth=62时，我们我们如何评估我们这个设置是否过大?MySQL Tips:MySQL profiling 可以用于查看各执行环节的消耗时间。如下是笔者构造的一个60个表join查询的查询，使用profiling查看执行环节消耗的过程。set profiling=1;set optimizer_search_depth=4;explain select .......show profile for query 2; 结果如图<img src="/static/imghw/default1.png" data-src="http://img.bitscn.com/upimg/allimg/c140719/1405KJ0JDP-4T62.jpg" class="lazy" alt="alt" style="max-width:90%">继续执行set optimizer_search_depth=40;explain select .......show profile for query 4; <img src="/static/imghw/default1.png" data-src="http://img.bitscn.com/upimg/allimg/c140719/1405KJ0MQ20-525A.jpg" class="lazy" alt="alt" style="max-width:90%">图中标红部分显示了两次优化器的执行时间差异。</code>
小结
<code style="padding: 0px; font-family: inherit; font-size: 14px; color: inherit; border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; background-color: transparent; border: 0px; font-style: inherit; font-weight: inherit;">1)根据机器配置估算一个可接受的时间，用于优化器选择join顺序。2)用profiling确定是否设置了过大的optimizer_search_depth。3)业务上优化，尽量不要使用超过10张表的多表join。4)PS:不要相信银弹。MySQL文档说设置为0则表示能够自动选择</code>optimizer_search_depth的合理值，实际上代码上策略就是，如果join表数N
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Comment le langage Go implémente-t-il les opérations d'ajout, de suppression, de modification et de requête de la base de données ?
Mar 27, 2024 pm 09:39 PM
Le langage Go est un langage de programmation efficace, concis et facile à apprendre. Il est privilégié par les développeurs en raison de ses avantages en programmation simultanée et en programmation réseau. Dans le développement réel, les opérations de base de données font partie intégrante. Cet article explique comment utiliser le langage Go pour implémenter les opérations d'ajout, de suppression, de modification et de requête de base de données. Dans le langage Go, nous utilisons généralement des bibliothèques tierces pour faire fonctionner les bases de données, telles que les packages SQL couramment utilisés, gorm, etc. Ici, nous prenons le package SQL comme exemple pour présenter comment implémenter les opérations d'ajout, de suppression, de modification et de requête de la base de données. Supposons que nous utilisons une base de données MySQL.
Comment Hibernate implémente-t-il le mappage polymorphe ?
Apr 17, 2024 pm 12:09 PM
Le mappage polymorphe Hibernate peut mapper les classes héritées à la base de données et fournit les types de mappage suivants : join-subclass : crée une table séparée pour la sous-classe, incluant toutes les colonnes de la classe parent. table par classe : créez une table distincte pour les sous-classes, contenant uniquement des colonnes spécifiques aux sous-classes. union-subclass : similaire à join-subclass, mais la table de classe parent réunit toutes les colonnes de la sous-classe.
iOS 18 ajoute une nouvelle fonction d'album 'Récupéré' pour récupérer les photos perdues ou endommagées
Jul 18, 2024 am 05:48 AM
Les dernières versions d'Apple des systèmes iOS18, iPadOS18 et macOS Sequoia ont ajouté une fonctionnalité importante à l'application Photos, conçue pour aider les utilisateurs à récupérer facilement des photos et des vidéos perdues ou endommagées pour diverses raisons. La nouvelle fonctionnalité introduit un album appelé "Récupéré" dans la section Outils de l'application Photos qui apparaîtra automatiquement lorsqu'un utilisateur a des photos ou des vidéos sur son appareil qui ne font pas partie de sa photothèque. L'émergence de l'album « Récupéré » offre une solution aux photos et vidéos perdues en raison d'une corruption de la base de données, d'une application d'appareil photo qui n'enregistre pas correctement dans la photothèque ou d'une application tierce gérant la photothèque. Les utilisateurs n'ont besoin que de quelques étapes simples
Une analyse approfondie de la façon dont HTML lit la base de données
Apr 09, 2024 pm 12:36 PM
HTML ne peut pas lire directement la base de données, mais cela peut être réalisé via JavaScript et AJAX. Les étapes comprennent l'établissement d'une connexion à la base de données, l'envoi d'une requête, le traitement de la réponse et la mise à jour de la page. Cet article fournit un exemple pratique d'utilisation de JavaScript, AJAX et PHP pour lire les données d'une base de données MySQL, montrant comment afficher dynamiquement les résultats d'une requête dans une page HTML. Cet exemple utilise XMLHttpRequest pour établir une connexion à la base de données, envoyer une requête et traiter la réponse, remplissant ainsi les données dans les éléments de la page et réalisant la fonction de lecture HTML de la base de données.
Tutoriel détaillé sur l'établissement d'une connexion à une base de données à l'aide de MySQLi en PHP
Jun 04, 2024 pm 01:42 PM
Comment utiliser MySQLi pour établir une connexion à une base de données en PHP : Inclure l'extension MySQLi (require_once) Créer une fonction de connexion (functionconnect_to_db) Appeler la fonction de connexion ($conn=connect_to_db()) Exécuter une requête ($result=$conn->query()) Fermer connexion ( $conn->close())
Comment gérer les erreurs de connexion à la base de données en PHP
Jun 05, 2024 pm 02:16 PM
Pour gérer les erreurs de connexion à la base de données en PHP, vous pouvez utiliser les étapes suivantes : Utilisez mysqli_connect_errno() pour obtenir le code d'erreur. Utilisez mysqli_connect_error() pour obtenir le message d'erreur. En capturant et en enregistrant ces messages d'erreur, les problèmes de connexion à la base de données peuvent être facilement identifiés et résolus, garantissant ainsi le bon fonctionnement de votre application.
Conseils et pratiques pour gérer les caractères chinois tronqués dans les bases de données avec PHP
Mar 27, 2024 pm 05:21 PM
PHP est un langage de programmation back-end largement utilisé dans le développement de sites Web. Il possède de puissantes fonctions d'exploitation de bases de données et est souvent utilisé pour interagir avec des bases de données telles que MySQL. Cependant, en raison de la complexité du codage des caractères chinois, des problèmes surviennent souvent lorsqu'il s'agit de caractères chinois tronqués dans la base de données. Cet article présentera les compétences et les pratiques de PHP dans la gestion des caractères chinois tronqués dans les bases de données, y compris les causes courantes des caractères tronqués, les solutions et des exemples de code spécifiques. Les raisons courantes pour lesquelles les caractères sont tronqués sont des paramètres de jeu de caractères incorrects dans la base de données : le jeu de caractères correct doit être sélectionné lors de la création de la base de données, comme utf8 ou u.
Comment ajouter et gérer des utilisateurs dans Google Manager
Sep 02, 2024 pm 02:41 PM
Comment ajouter et gérer des utilisateurs dans Google Manager ? Google Chrome permet à plusieurs utilisateurs de se connecter, nous n'avons donc pas à nous soucier de la connexion sur plusieurs appareils. Si nous avons de nombreux utilisateurs, nous devons ajouter une gestion. Certains amis ne savent peut-être pas comment fonctionner. Ne vous inquiétez pas, l'éditeur a compilé aujourd'hui un tutoriel détaillé étape par étape pour tout le monde. Si vous êtes intéressé, venez jeter un œil avec l'éditeur. Instructions détaillées du didacticiel étape par étape 1. Après avoir allumé l'ordinateur, recherchez l'icône Google Chrome installée sur le bureau et double-cliquez pour l'ouvrir, comme indiqué dans l'image ci-dessous. 2. Cliquez sur l'icône à trois points dans le coin supérieur droit de Google Chrome, comme indiqué dans l'image ci-dessous. 3. Cliquez sur l'option [Paramètres] dans le menu déroulant de Google Chrome, comme indiqué dans la figure ci-dessous. 4. Dans l'interface des paramètres de Google Chrome qui s'ouvre, cliquez sur [Gérer les ch
