L'auteur de Go rqlite vous le dit : Quelle est l'importance des algorithmes lors du développement d'un logiciel de base de données !-Golang-php.cn

Cet article est introduit par la rubrique tutoriel de golang sur "L'auteur de Go rqlite vous dit : Quelle est l'importance de l'algorithme lors du développement d'un logiciel de base de données !" 》, j'espère que cela sera utile aux amis dans le besoin !

Écrire un programme de base de données est un travail fascinant. J'ai été fortement impliqué dans le développement de bases de données open source au cours des deux dernières années, et la programmation de bases de données est probablement le projet le plus inspirant que vous puissiez réaliser en tant que développeur de logiciels.

Ce qui est vraiment choquant, cependant, c'est à quel point mon attitude envers les bases de données a changé au cours des 6 dernières années. D'indifférent au début, je commence maintenant à penser que les systèmes de bases de données sont le summum du génie logiciel.

Je ne sais pas ce qui serait mieux

Pendant la majeure partie de ma carrière, ma seule expérience avec les bases de données a été de lire à leur sujet. Habituellement, dans un contexte ennuyeux, ouvrez n'importe quel manuel de premier cycle sur les bases de données et vous verrez ce que je veux dire. Habituellement, vous verrez le tableau suivant comme un cas d'utilisation typique d'une base de données relationnelle : KellyBurkeReprésentantVice-président

Réalisateur	Marketing		2	Tom
Ventes		3	John	Smith
Soldes		Pouvez-vous lire des trucs plus ennuyeux ? S’il s’agit uniquement de bases de données, je ne veux rien avoir à faire avec elles. À quoi ça sert ? Le logiciel est bien plus cool que ça, non ? J'ai donc complètement évité pendant longtemps tout ce qui concerne les bases de données On n'oublie jamais sa première application CRUD 2009, après des années d'écriture de logiciels embarqués, de pilotes de périphériques Linux et de logiciels Web, je me suis retrouvé à diriger une équipe qui avait besoin de construire un système basé sur le Web. Vous voyez, le cloud AWS est arrivé et les adresses MAC des technologies de licence basées sur le cloud ne sont plus valides. Mon équipe doit créer un portail de licences pour notre nouvelle appliance logicielle basée sur EC2. Comme nous avions beaucoup d'expérience avec Python, nous avons choisi Django, fonctionnant sur MySQL. Quelque chose de nouveau s'est produit. En fait, j'ai commencé à travailler avec la base de données. Au fur et à mesure que le développement des applications CRUD dans les plaines de notre pays se poursuivait, j'ai commencé à réaliser à quel point la base de données est importante - à quel point elle est essentielle pour nos systèmes. Si nous perdons la base de données, notre développement logiciel est vain. Si la base de données corrompt les données, les appareils de nos clients risquent de perdre leur licence et leurs réseaux cesseront de fonctionner. Si la base de données ne fonctionne pas correctement, des milliers de personnes seront touchées simultanément. Mais rien de tout cela ne s’est produit. La base de données fonctionne toujours . Cela ne nous déçoit jamais. Je suis impressionné. Plus tard, j'ai découvert les contraintes de clé étrangère, les contraintes uniques, l'intégrité référentielle, les index (rappelez-vous, pour le moment, je ne connais rien à ces choses) - les bases de données peuvent m'aider à construire un système plus robuste de diverses manières. J'ai finalement réalisé que les bases de données modernes sont incroyables - les bases de données sont les choses les plus ennuyeuses au monde jusqu'à ce que vous deviez réellement construire un système avec elles. Vous n'oublierez jamais non plus votre premier système de recherche En 2012, je dirigeais une équipe qui construisait un vaste système d'indexation et de recherche basé sur une grande base de données clé-valeur, avec la recherche élastique en son cœur. Il est révélateur de voir ce qu'un système comme Elasticsearch peut faire - une technologie basée sur une indexation de classe mondiale - même avec des téraoctets de données de journalisation en dessous. À l'heure actuelle, j'ai vu même des bases de données et des systèmes de recherche échouer, mais je suis fasciné par la technologie des bases de données. En 2014, j'ai rejoint une petite équipe dédiée développant le noyau de [base de données de séries chronologiques open source] (github.com/influxdata/influxdb) Les algorithmes que j'ai appris sont vraiment importants uniquement dans le développement de bases de données Uniquement en Chine). L'analyse Big O a-t-elle vraiment pris vie. Les bases de données sont l'une des rares applications où les programmeurs doivent encore boucler, trier et filtrer des millions d'objets. C'est l'un des rares endroits où une grande partie du matériel ennuyeux appris dans les cours d'informatique est importante. Ce n'est pas le cas de nombreux autres développements logiciels. Écrire le firmware de la ROM de démarrage ? Non, les algorithmes n'ont jamais été importants pour moi. Pilote de périphérique du tuner ? Non, cela n'a pas d'importance. Logiciel de gestion des appareils réseau ? Application CRUD ? Presque toutes ces disciplines nécessitent des compétences et des connaissances différentes. La plupart du temps, je discutais simplement de la complexité de l'exécution lors des entretiens. Mais avec le développement des bases de données, tout a changé. C'est une chose merveilleuse de voir un système renvoyer le résultat correct, mais seulement pour une fraction du temps auparavant en raison d'un changement d'algorithme, et de voir cela se produire dans votre code, dans le système que vous avez construit. Les performances comptent aussi Il y a une vieille histoire dans les logiciels qui ressemble à ceci : un programmeur écrit du code qui s'exécute dix fois plus vite que la version précédente. Il l'a montré, mais quelqu'un a souligné que les données produites étaient légèrement différentes des données correctes. "Mais c'est dix fois plus rapide", a souligné le programmeur. "Eh bien, si cela n'a pas besoin d'être correct, je peux créer une version qui ne prend pas de place et fonctionne infiniment vite", a répondu un autre. Ce conte moral a toujours eu un énorme impact sur moi. Avoir raison est toujours plus important que toute autre chose. C'est vrai. Mais cela m’amène également à croire que les projets sont précieux simplement parce qu’ils produisent les bons résultats. Pour les bases de données, ce n'est pas le cas. La performance est plus qu'une simple fonctionnalité. Ceci est une demande. Ceux qui sont prêts à payer pour des bases de données le font souvent parce qu’ils disposent de grandes quantités de données. Si la base de données ne fonctionne pas correctement dans cette situation (si elle ne renvoie pas les résultats rapidement et efficacement), elle risque de ne pas fonctionner du tout. Pensez-vous que les systèmes d'écriture sont compliqués ? Je pense que ce qui m'a le plus choqué dans le développement de bases de données, c'est la complexité des moteurs de requête. J'ai beaucoup d'expérience dans la création de systèmes qui écrivent et stockent des données sur disque. Faire fonctionner correctement ces systèmes peut constituer un défi de taille. Mais cette complexité est généralement bien moindre que celle du moteur de requête. Un système de requête flexible – construire efficacement un système pour répondre aux questions lorsque vous ne savez pas quelles seront les questions – nécessite une réflexion approfondie en matière de conception. Le planificateur de requêtes doit être valide. Les systèmes de requête doivent prendre en charge de nombreuses exigences orthogonales (filtrage selon certaines dimensions, regroupement selon d'autres dimensions, jonction de données provenant de différentes tables) et parfois prendre en charge des données provenant de sources externes. Enfin, le système de requêtes doitêtre efficace et performant. Cela conduit à une tension entre abstraction et optimisation dans la conception et la mise en œuvre, ce qui nécessite de réelles compétences pour bien gérer. Dans le monde réel, elle doit être exploitée Toute base de données importante doit prendre en charge les opérations de base telles que la sauvegarde, la récupération, la gestion de la fragmentation et la surveillance. Si, en tant qu'opérateur sérieux, je ne peux pas sauvegarder votre base de données, je ne peux pas l'utiliser, c'est aussi simple que cela. La rapidité avec laquelle la base de données accepte les écritures n'a pas d'importance. Lors d'une requête, la taille de son empreinte mémoire n'a pas d'importance. Si je ne peux pas protéger les données de la base de données contre des pannes indépendantes de votre volonté, le créateur de la base de données, je ne pourrai jamais l'exécuter confortablement. Bien sûr, il existe de nombreuses façons de sauvegarder une base de données sans la coopération de la base de données. Mais les méthodes intégrées sont généralement les meilleures. C'est également ma recommandation pour rqlite v2.0. Si je veux que quelqu'un utilise rqlite sérieusement, je dois résoudre le problème du monde réel où le système peut échouer complètement et être en retard sur les données pendant très longtemps. Ainsi, lors de la conception et de la mise en œuvre d'une base de données, établissez dès le départ un support opérationnel. Faites-en un élément fondamental de votre conception. Vos utilisateurs vous en remercieront. La réponse est généralement "ça dépend" Quand on commence à travailler avec une base de données, notamment en tant qu'opérateur, on se pose souvent la question : à quel rythme le système peut-il être indexé ? Avec quelle rapidité répond-il aux requêtes ? De combien d’espace disque ai-je besoin ? Quelle taille un débris peut-il avoir et continuer à fonctionner ? Comment puis-je l'accélérer ? Le tout demandé sans réserve. Je le faisais moi-même. Vous pouvez peut-être parler aux programmeurs de bases de données et leur poser ces questions. Et la réponse que vous obtiendrez souvent, peut-être jamais, est : C'est à vous de décider. Il faut benchmarker, il faut mesurer . Cela peut être irritant à entendre et vous aurez peut-être l'impression d'éviter toute responsabilité. Mais ce n’est pas le cas. Maintenant, quand j'entends des questions comme celle-ci, je souris. Trop naïf. Le taux d'indexation peut dépendre de la taille des données, et pas seulement du nombre de documents ou de points de données. Cela peut dépendre du traitement par lots, de la cardinalité des données, du fait que la base de données soit clusterisée, des colonnes et des champs des données qui sont indexés, du fait qu'il s'agisse de nouvelles données ou d'une mise à jour de données existantes, de la machine sur laquelle la base de données est exécutée, RAM, performances IO et réplication utilisée. Les variables qui contrôlent les performances ne finissent jamais. Pour les requêtes, cela peut dépendre de la plage temporelle des données de la série chronologique. Cela dépend du nombre d'enregistrements atteints, du nombre de champs interrogés, de l'implication éventuelle d'une analyse de plage, de l'indexation des données, du type d'index utilisé, du nombre de fragments accessibles et du caractère local des données. et les caractéristiques des machines. Est-ce en stock ? Est-il en maintenance ? Le réseau est-il occupé ? Donc la réponse est toujours : Cela dépend. Les concepteurs de bases de données sont honnêtes. Ils peuvent tout savoir sur le système qu’ils ont construit sans toujours connaître les réponses à vos questions. Programming Bucket List S'il y a un conseil à donner aux développeurs qui souhaitent améliorer leurs compétences en programmation, ce serait de rejoindre une équipe de développement de bases de données. Mes compétences en programmation se sont considérablement améliorées grâce au développement de bases de données – cela a été une merveilleuse expérience de codage. Adresse originale : https://www.philipotoole.com/what-i-learned-from-programming-a-database/ Adresse de traduction : https://learnku.com/go/t/64605

Réalisateur

Marketing

Tom

Ventes

John

Smith

Soldes

Pouvez-vous lire des trucs plus ennuyeux ? S’il s’agit uniquement de bases de données, je ne veux rien avoir à faire avec elles. À quoi ça sert ? Le logiciel est bien plus cool que ça, non ? J'ai donc complètement évité pendant longtemps tout ce qui concerne les bases de données

On n'oublie jamais sa première application CRUD

2009, après des années d'écriture de logiciels embarqués, de pilotes de périphériques Linux et de logiciels Web, je me suis retrouvé à diriger une équipe qui avait besoin de construire un système basé sur le Web. Vous voyez, le cloud AWS est arrivé et les adresses MAC des technologies de licence basées sur le cloud ne sont plus valides. Mon équipe doit créer un portail de licences pour notre nouvelle appliance logicielle basée sur EC2. Comme nous avions beaucoup d'expérience avec Python, nous avons choisi Django, fonctionnant sur MySQL. Quelque chose de nouveau s'est produit. En fait, j'ai commencé à travailler avec la base de données.

Au fur et à mesure que le développement des applications CRUD dans les plaines de notre pays se poursuivait, j'ai commencé à réaliser à quel point la base de données est importante - à quel point elle est essentielle pour nos systèmes. Si nous perdons la base de données, notre développement logiciel est vain. Si la base de données corrompt les données, les appareils de nos clients risquent de perdre leur licence et leurs réseaux cesseront de fonctionner. Si la base de données ne fonctionne pas correctement, des milliers de personnes seront touchées simultanément. Mais rien de tout cela ne s’est produit. La base de données fonctionne toujours . Cela ne nous déçoit jamais. Je suis impressionné.
Plus tard, j'ai découvert les contraintes de clé étrangère, les contraintes uniques, l'intégrité référentielle, les index (rappelez-vous, pour le moment, je ne connais rien à ces choses) - les bases de données peuvent m'aider à construire un système plus robuste de diverses manières. J'ai finalement réalisé que les bases de données modernes sont incroyables - les bases de données sont les choses les plus ennuyeuses au monde jusqu'à ce que vous deviez réellement construire un système avec elles.

Vous n'oublierez jamais non plus votre premier système de recherche

En 2012, je dirigeais une équipe qui construisait un vaste système d'indexation et de recherche basé sur une grande base de données clé-valeur, avec la recherche élastique en son cœur. Il est révélateur de voir ce qu'un système comme Elasticsearch peut faire - une technologie basée sur une indexation de classe mondiale - même avec des téraoctets de données de journalisation en dessous.
À l'heure actuelle, j'ai vu même des bases de données et des systèmes de recherche échouer, mais je suis fasciné par la technologie des bases de données. En 2014, j'ai rejoint une petite équipe dédiée développant le noyau de [base de données de séries chronologiques open source] (github.com/influxdata/influxdb)

Les

algorithmes que j'ai appris sont vraiment importants

uniquement dans le développement de bases de données Uniquement en Chine). L'analyse Big O a-t-elle vraiment pris vie. Les bases de données sont l'une des rares applications où les programmeurs doivent encore boucler, trier et filtrer des millions d'objets. C'est l'un des rares endroits où une grande partie du matériel ennuyeux appris dans les cours d'informatique est importante.

Ce n'est pas le cas de nombreux autres développements logiciels. Écrire le firmware de la ROM de démarrage ? Non, les algorithmes n'ont jamais été importants pour moi. Pilote de périphérique du tuner ? Non, cela n'a pas d'importance. Logiciel de gestion des appareils réseau ? Application CRUD ? Presque toutes ces disciplines nécessitent des compétences et des connaissances différentes. La plupart du temps, je discutais simplement de la complexité de l'exécution lors des entretiens.
Mais avec le développement des bases de données, tout a changé. C'est une chose merveilleuse de voir un système renvoyer le résultat correct, mais seulement pour une fraction du temps auparavant en raison d'un changement d'algorithme, et de voir cela se produire dans votre code, dans le système que vous avez construit.

Les performances comptent aussi

Il y a une vieille histoire dans les logiciels qui ressemble à ceci : un programmeur écrit du code qui s'exécute dix fois plus vite que la version précédente. Il l'a montré, mais quelqu'un a souligné que les données produites étaient légèrement différentes des données correctes. "Mais c'est dix fois plus rapide", a souligné le programmeur. "Eh bien, si cela n'a pas besoin d'être correct, je peux créer une version qui ne prend pas de place et fonctionne infiniment vite", a répondu un autre.
Ce conte moral a toujours eu un énorme impact sur moi. Avoir raison est toujours plus important que toute autre chose. C'est vrai. Mais cela m’amène également à croire que les projets sont précieux simplement parce qu’ils produisent les bons résultats.

Pour les bases de données, ce n'est pas le cas.
La performance est plus qu'une simple fonctionnalité. Ceci est une demande. Ceux qui sont prêts à payer pour des bases de données le font souvent parce qu’ils disposent de grandes quantités de données. Si la base de données ne fonctionne pas correctement dans cette situation (si elle ne renvoie pas les résultats rapidement et efficacement), elle risque de ne pas fonctionner du tout.

Pensez-vous que les systèmes d'écriture sont compliqués ?

Je pense que ce qui m'a le plus choqué dans le développement de bases de données, c'est la complexité des moteurs de requête. J'ai beaucoup d'expérience dans la création de systèmes qui écrivent et stockent des données sur disque. Faire fonctionner correctement ces systèmes peut constituer un défi de taille.
Mais cette complexité est généralement bien moindre que celle du moteur de requête. Un système de requête flexible – construire efficacement un système pour répondre aux questions lorsque vous ne savez pas quelles seront les questions – nécessite une réflexion approfondie en matière de conception. Le planificateur de requêtes doit être valide. Les systèmes de requête doivent prendre en charge de nombreuses exigences orthogonales (filtrage selon certaines dimensions, regroupement selon d'autres dimensions, jonction de données provenant de différentes tables) et parfois prendre en charge des données provenant de sources externes. Enfin, le système de requêtes doitêtre efficace et performant. Cela conduit à une tension entre abstraction et optimisation dans la conception et la mise en œuvre, ce qui nécessite de réelles compétences pour bien gérer.

Dans le monde réel, elle doit être exploitée

Toute base de données importante doit prendre en charge les opérations de base telles que la sauvegarde, la récupération, la gestion de la fragmentation et la surveillance.
Si, en tant qu'opérateur sérieux, je ne peux pas sauvegarder votre base de données, je ne peux pas l'utiliser, c'est aussi simple que cela. La rapidité avec laquelle la base de données accepte les écritures n'a pas d'importance. Lors d'une requête, la taille de son empreinte mémoire n'a pas d'importance. Si je ne peux pas protéger les données de la base de données contre des pannes indépendantes de votre volonté, le créateur de la base de données, je ne pourrai jamais l'exécuter confortablement.
Bien sûr, il existe de nombreuses façons de sauvegarder une base de données sans la coopération de la base de données. Mais les méthodes intégrées sont généralement les meilleures. C'est également ma recommandation pour rqlite v2.0. Si je veux que quelqu'un utilise rqlite sérieusement, je dois résoudre le problème du monde réel où le système peut échouer complètement et être en retard sur les données pendant très longtemps.

Ainsi, lors de la conception et de la mise en œuvre d'une base de données, établissez dès le départ un support opérationnel. Faites-en un élément fondamental de votre conception. Vos utilisateurs vous en remercieront.

La réponse est généralement "ça dépend"

Quand on commence à travailler avec une base de données, notamment en tant qu'opérateur, on se pose souvent la question : à quel rythme le système peut-il être indexé ? Avec quelle rapidité répond-il aux requêtes ? De combien d’espace disque ai-je besoin ? Quelle taille un débris peut-il avoir et continuer à fonctionner ? Comment puis-je l'accélérer ? Le tout demandé sans réserve. Je le faisais moi-même.
Vous pouvez peut-être parler aux programmeurs de bases de données et leur poser ces questions. Et la réponse que vous obtiendrez souvent, peut-être jamais, est : C'est à vous de décider. Il faut benchmarker, il faut mesurer . Cela peut être irritant à entendre et vous aurez peut-être l'impression d'éviter toute responsabilité.

Mais ce n’est pas le cas.
Maintenant, quand j'entends des questions comme celle-ci, je souris. Trop naïf.
Le taux d'indexation peut dépendre de la taille des données, et pas seulement du nombre de documents ou de points de données. Cela peut dépendre du traitement par lots, de la cardinalité des données, du fait que la base de données soit clusterisée, des colonnes et des champs des données qui sont indexés, du fait qu'il s'agisse de nouvelles données ou d'une mise à jour de données existantes, de la machine sur laquelle la base de données est exécutée, RAM, performances IO et réplication utilisée.
Les variables qui contrôlent les performances ne finissent jamais.
Pour les requêtes, cela peut dépendre de la plage temporelle des données de la série chronologique. Cela dépend du nombre d'enregistrements atteints, du nombre de champs interrogés, de l'implication éventuelle d'une analyse de plage, de l'indexation des données, du type d'index utilisé, du nombre de fragments accessibles et du caractère local des données. et les caractéristiques des machines. Est-ce en stock ? Est-il en maintenance ? Le réseau est-il occupé ?

Donc la réponse est toujours : Cela dépend. Les concepteurs de bases de données sont honnêtes. Ils peuvent tout savoir sur le système qu’ils ont construit sans toujours connaître les réponses à vos questions.

Programming Bucket List

S'il y a un conseil à donner aux développeurs qui souhaitent améliorer leurs compétences en programmation, ce serait de rejoindre une équipe de développement de bases de données. Mes compétences en programmation se sont considérablement améliorées grâce au développement de bases de données – cela a été une merveilleuse expérience de codage.