Une brève introduction au traçage distribué en PHP

Résumé : Depuis la mise en œuvre des microservices, nous avons rencontré de nombreux problèmes. Le plus gros problème est de savoir comment résoudre les problèmes. Les interfaces orientées services reposent généralement sur plusieurs services. La lenteur des interfaces dépendantes affectera directement la qualité de service des interfaces. Les lenteurs provoquées par ce genre de dépendance sont très courantes en ligne, mais ce n'est pas facile à dépanner après tout...

Depuis la mise en place des microservices, nous avons rencontré de nombreux problèmes. Le plus gros problème est de savoir comment résoudre les problèmes. Les interfaces orientées services reposent généralement sur plusieurs services. La lenteur des interfaces dépendantes affectera directement la qualité de service des interfaces.

Ce type de lenteur causée par la dépendance est très courant en ligne, mais il n'est pas facile à résoudre. La raison en est qu'un grand nombre de développeurs de journaux suivent en ligne via des journaux, ce qui n'est pas très intuitif, et certaines entreprises. les développeurs ne peuvent pas voir l'état d'exécution spécifique en ligne. D'une manière générale, ces failles en ligne de faible probabilité représentent des dangers cachés dans le système. Lorsque le trafic augmente, ces dangers cachés seront amplifiés ou même mèneront directement à des pannes en ligne à grande échelle. Afin d'éviter des choses similaires, nous devons faire un. beaucoup de choses. Le plus intuitif est d'utiliser des systèmes de traçage distribués pour l'analyse statistique.

Nous voyons souvent des experts parler de la manière d'optimiser les performances en ligne et de les améliorer. En fait, il existe un lien important qu'ils n'ont pas mentionné. Comment découvrent-ils des défauts à faible probabilité ? Les systèmes de suivi distribués sont très courants dans les grandes sociétés Internet, mais les petites et moyennes entreprises n'ont pas la force technique nécessaire pour mettre en œuvre ce système. De notre point de vue, même si le trafic est très faible, le système reste très important pour l'entreprise et nous devons le renforcer. Ce n'est qu'en étant capables de trouver les problèmes que nous pourrons les résoudre. mis en œuvre.

La mise en œuvre spécifique du système de suivi distribué est techniquement difficile. Pour réaliser la capture des performances, l'écriture des journaux, la collecte et le tri des journaux, la transmission des journaux, le stockage des journaux, l'indexation des journaux, l'analyse des journaux en temps réel et l'affichage final de la fusion, le système est requis. Capable de faire face à l’impact des systèmes à grand débit. Par exemple, chaque requête génère 1 000 journaux par interface, puis le serveur QPS 2000 générera 2 millions de journaux. Si une requête repose sur 5 interfaces, elle sera alors de 10 millions de journaux par seconde lorsque l'activité en ligne est plus complexe et que le trafic est plus important. , le temps, cette valeur augmentera.

Les grandes entreprises Internet disposent de nombreux systèmes de suivi distribués capables de supporter des milliards de trafic. Cependant, pour les petites entreprises, cette architecture est très lourde. Beaucoup d'entre elles s'appuient uniquement sur des systèmes de messagerie distribués, de stockage distribué et d'informatique distribuée. utilisera au moins 6 serveurs ou plus, ce qui n'est pas rentable pour les petites entreprises ordinaires.

Cette fois, nous avons deux types de suivi distribué open source. L'un est une version autonome pour les petites et moyennes entreprises Internet. Elle peut prendre en charge les systèmes commerciaux PV 2000w (tels que les systèmes de paiement). Il existe également un système de suivi distribué qui prend en charge des milliards de PV distribués. Actuellement, la version autonome de Fiery vient d'être ouverte (https://github.com/weiboad/fiery). Cette version est conçue pour être utilisée par les petites et moyennes entreprises. L'ensemble du projet est un package Jar qui peut le faire. Être utilisé immédiatement. Tant qu'il existe un runtime Java8, il peut être utilisé directement, bien sûr, le système doit simplement effectuer un travail d'enfouissement. La version distribuée C++ repose sur de nombreux éléments et nécessite certaines capacités pour le personnel d'exploitation et de maintenance. La version autonome sera publiée ultérieurement en fonction de la situation. Ces systèmes de trading de base, qui sont entièrement open source et contiennent des données sensibles, sont également entièrement disponibles.

Il existe actuellement plusieurs méthodes de suivi distribué sur le marché, dont certaines sont utilisées en interne par l'entreprise, et d'autres sont des services gratuits à petite échelle et des services payants à grande échelle. Le traçage distribué commun enregistre les performances de chaque bloc grâce à des méthodes statistiques. Les méthodes que nous proposons actuellement ne sont pas exactement les mêmes que celles du marché. Nous avons apporté de nombreuses simplifications grâce à des expérimentations continues, en ne conservant que les fonctions que nous pensons vraiment pratiques. Nous avons conçu le système de surveillance distribuée des systèmes clés. Tels que le système de paiement et le système de transaction.

Nous enregistrons la situation spécifique, la valeur de retour, les performances spécifiques et d'autres informations de chaque demande. Grâce à l'analyse des tableaux, nous pouvons découvrir rapidement les performances de l'interface dépendante en ligne (statistiques de performances de l'interface tierce ou non enterrée), le classement des performances. l'analyse des interfaces cachées a également été menée de manière indépendante. En visualisant le tableau d'analyse, nous pouvons rapidement trouver l'interface la plus lente pour demander la lecture et analyser les raisons de la lenteur des performances en ligne. Grâce à la pratique, nous avons constaté que dans de nombreux cas, la lenteur des ressources de données sur lesquelles PHP s'appuie entraîne de mauvaises performances de l'interface PHP. L’accent est donc mis sur la dépendance aux ressources. Les utilisateurs peuvent ajouter d'autres informations en fonction de leurs propres besoins, ce qui peut réduire un grand nombre de journaux inutiles et les rendre plus économes.

Ce Fiery open source comprend principalement trois parties : une bibliothèque de points intrusifs PHP, un module push rationalisé de surveillance des journaux et un serveur. Ces trois-là réalisent un suivi distribué pour un site Web avec une PV inférieure à 2000w.

La bibliothèque de points enterrés générera un Traceid (UUID) à l'entrée. Ce Traceid masque l'adresse IP du serveur d'entrée et l'heure de la requête. Tous les journaux suivants seront marqués avec cet UUID. Après la collecte des journaux, tous les journaux pertinents seront stockés selon cet UUID. La bibliothèque de points enterrés sera chargée de recevoir le Traceid envoyé par d'autres requêtes et d'envoyer et de maintenir le RPCID pendant l'exécution. Le RPCID est un compteur hiérarchique grâce auquel nous pouvons directement restaurer l'ordre et la hiérarchie de la relation appelante et l'afficher au développeur. . De plus, si une exception se produit pendant le fonctionnement de PHP, elle sera capturée et enregistrée par la bibliothèque de points enterrés pour que le serveur puisse effectuer des statistiques de déduplication. Enfin, ces journaux seront enregistrés sur le disque local du serveur. Pour certaines raisons, lorsque plusieurs processus PHP écrivent un fichier en même temps, l'ordre peut occasionnellement se produire. Nous enregistrons désormais les journaux en fonction de l'ID du processus plus l'ID du processus. nom du projet comme nom de fichier.

Nous avons implémenté une version simple de capture et de transmission des journaux Fiery. Ceci afin de simplifier le travail du personnel d'exploitation et de maintenance. Il existe en effet de nombreuses sources ouvertes qui fournissent des fonctions similaires, mais elles doivent s'appuyer sur d'autres environnements. , ce qui est très difficile pour les opérations. Il y a un certain fardeau pour Wei. Nous disposons également d'un service expérimental de capture et de transmission des journaux PHP, mais il s'agit toujours d'une fonction expérimentale. Il est prévu que les utilisateurs puissent participer au débogage et à l'amélioration.

Nous avons effectué beaucoup de travail côté serveur de Fiery et avons intégré Lucene et Rocksdb pour indexer et stocker les requêtes respectivement. Nous avons également effectué des travaux sur les statistiques de mémoire.À l'heure actuelle, nos dimensions statistiques sont fixes.Nous ne comptons que les réponses des interfaces locales, des interfaces dépendantes, de Mysql et de Curl.Nous fournissons également des statistiques de lecture des relations d'appel et de déduplication des alertes du journal des erreurs. Grâce à ces fonctions, les défauts de performances et les anomalies du système aux points clés de la ligne peuvent être rapidement découverts. Actuellement, il ne s'agit que d'une version autonome, et je peux l'étendre davantage vers un mode distribué plus simple si nécessaire à l'avenir.

Les services ci-dessus ne sont pas uniquement destinés aux services en ligne. Nous avons également fait de nombreuses tentatives intéressantes en les utilisant en interne. Par exemple, l'environnement de test QA est connecté à un ensemble une fois le test terminé, le Traceid généré par l'interface défectueuse. est directement envoyé à l'équipe de développement. , les développeurs peuvent utiliser Traceid pour trouver tous les processus d'appel, les paramètres, les conditions de retour et les performances de cette requête, qui peuvent être visualisés pour une analyse facile. La même chose peut être faite pour les tests unitaires avant de partir. en ligne. Il y a quelque temps, lorsque j'ai posté sur Weibo pour promouvoir Fiery, quelqu'un a mentionné qu'il pourrait être utilisé comme pot de miel pour visualiser le processus de piratage et des détails spécifiques. Les fonctions de suivi doivent encore être explorées et améliorées par tous. Ce système est conçu pour combler les lacunes de l'écosystème PHP.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!