Robot de test API sans code à scénario complet, Huawei Cloud lance ATGen dans CodeArts TestPlan

Comme nous le savons tous, l’interaction entre les services logiciels et les composants repose principalement sur un grand nombre d’interfaces API.

Prenons l'exemple des plus de 300 services cloud commerciaux de Huawei Cloud. Chaque service contient en moyenne plus de 500 interfaces, et le nombre total d'interfaces atteint plus de 100 000. Les scénarios commerciaux du contexte d'appel d'interface sont d'une complexité inimaginable.

Comment s'assurer que le scénario de test API est le plus complet possible, sans omissions, ni engendrant de graves problèmes sur le réseau live ? Il s'agit d'un problème classique auquel les gens sont actuellement confrontés, et les goulots d'étranglement courants sont les suivants :

• La conception actuelle des tests d'interface repose sur l'expérience du personnel et la méthode de construction des données de test est unique, ce qui est difficile à refléter le scénario réel de distribution des données d'application du réseau existant
 ;
• Face à des milliers d'interfaces API, qui peuvent constituer des dizaines de milliers, voire des centaines de milliers de chemins d'opération, la charge de travail d'orchestration de tests de scénarios E2E est énorme
;
• Les outils de génération de tests d'interface API existants utilisent essentiellement les tests Fuzz + SBST basés sur des conseils de cible de couverture de code, ou la lecture d'une interface unique basée sur des données réseau en direct. Ils ne connaissent pas le contexte commercial de l'interface, la génération. l’efficacité est relativement faible et inefficace.

Alors, comment Huawei Cloud résout-il ces problèmes ?

▶Huawei Cloud ATGen : perçoit le contexte de l'interface API, génère indépendamment des tests de scénario complet de l'API et modifie le modèle d'interaction homme-machine

ATGen (APITestGenerator) est un service de génération de tests indépendant sans code au niveau du scénario d'API contextuel qui réalise une conception, une génération, une exécution et un jugement entièrement automatiques de tests au niveau d'un scénario d'API d'application sans écrire une seule ligne de code.

Le modèle traditionnel d'interaction entre la conception et l'exécution des tests nécessite une compréhension manuelle des documents de conception, l'organisation des plans de test et le développement de l'automatisation des tests. Cela nécessite que les participants soient familiers avec les documents commerciaux et d'interface des produits ou services, et qu'ils maîtrisent la technologie de test et les tests. cadre d'automatisation et écriture de code d'automatisation de test.

Aujourd'hui, grâce à la prise en charge d'algorithmes d'IA conçus, générés, exécutés et jugés indépendamment, le modèle d'interaction homme-machine des tests au niveau des scénarios d'API a subi d'énormes changements.

• Mode d'interaction homme-machine ATGen pris en charge par un algorithme intelligent

Pendant le processus de test, la machine analyse indépendamment les documents et les données et génère automatiquement le graphique ODG (OperationDependencyGraph) de dépendance opérationnelle au niveau du scénario API. Le testeur n'a qu'à effectuer les révisions appropriées, et la machine peut explorer et parcourir indépendamment l'exécution du graphique ODG. , et complètent le jugement des résultats de manière synchrone et la génération de rapports, les testeurs n'ont qu'à confirmer les résultats par lots par catégorie.

▶Huawei Cloud ATGen : technologie et valeur commerciale mises en avant

Sur la base du document de définition de l'interface API avancée, Huawei Cloud ATGen exploite automatiquement le graphe de dépendance des opérations du contexte de test de l'API (ODG), explore et parcourt l'ODG pour générer indépendamment des séquences de test d'API, construit et émet des requêtes de test d'API en temps réel, détermine le Les résultats des tests de l'API et les corrigent dynamiquement dans le graphique ODG, optimisent le prochain cycle de génération.

Six fonctionnalités clés de Huawei Cloud ATGen :

• Prend en charge la génération de tests intelligents entièrement automatiques basée sur la définition de l'interface API Rest du code zéro du document Yaml ;
• Perception du contexte d'appel de l'interface API Rest : Analyse le document Yaml de définition d'interface, extrait les dépendances de transfert de paramètres de contexte entre les interfaces API et les dépendances d'ajout, de suppression, de modification et de requête CRUD, et génère le graphe de dépendance de séquence d'opération d'interface ODG ;
• Exploration, parcours et correction autonomes d'ODG : Explorez et parcourez ODG pour générer des séquences de test par lots, les émettre automatiquement pour exécution et corriger dynamiquement le diagramme ODG en fonction des commentaires de réponse ;
13 méthodes de génération de données de test d'interface :
• Prend en charge 13 méthodes de génération de données de test telles que le passage automatique de paramètres de contexte d'interface, la valeur de dictionnaire de réutilisation, la valeur d'énumération, la valeur d'exemple, la valeur de mutation d'exemple, la valeur limite, la valeur intermédiaire, la valeur aléatoire, etc. ;
Exploration automatique et génération de points de décision de test :
• Générez des points de décision de test explicites basés sur les définitions d'interface et les codes d'état ; Regroupement des résultats de tests et confirmation efficace des lots :
Prend en charge le regroupement hiérarchique des résultats de tests en fonction des codes de retour commerciaux, des sous-séquences similaires et des types de génération de paramètres, permettant aux testeurs de confirmer plus facilement les échecs par lots par catégorie et de passer des commandes en un seul clic ;
• *Pour des détails techniques spécifiques, veuillez vous référer aux principaux articles de conférence publiés dans ICSE et ASE [1, 2].

Valeur commerciale et perspectives d'application du Huawei Cloud ATGen :

• Construisez rapidement une interface et un réseau fonctionnel de protection de la qualité : Pour les équipes de service produit nouvellement créées ou les équipes complètes sans testeurs à temps plein, aucune participation ou aucune participation peut être obtenue Interface entièrement automatique et test complet du code au niveau du scénario, créant rapidement un réseau de protection de qualité de base pour les tests au niveau de l'interface et du scénario fonctionnel
 ;
• Faible coût, couverture élevée : Pour une équipe de test composée de testeurs à temps plein, d'experts en test et d'une grande maturité, l'efficacité de la conception des tests peut être considérablement améliorée et des tests plus élevés peuvent être réalisés à faible coût. Couverture de la scène et taux d'interception des défauts ;
• Renforcement du contrôle d'accès de qualité des pipelines : peut être intégré aux pipelines existants pour renforcer le contrôle d'accès aux tests de fumée existants et intercepter davantage les défauts profonds de la logique métier  ;
• Tests de scénarios complets et d'attributs non codés orientés interface : peut réaliser une automatisation complète des scénarios anormaux (tests de fiabilité) et des scénarios simultanés (modèle de pression de performance) basés sur des tests de scénarios API normaux Générez, remplacez complètement le test fuzz d'interface existant et obtenez zéro code pour un test de scénario complet de l'interface.

Huawei Cloud ATGen a déployé plus de 30 applications quotidiennes de produits et services à grande échelle au sein de Huawei et mesure les effets des applications métiers en trois dimensions  :

• Efficacité de la génération : Y compris le taux de réussite des requêtes d'interface, la longueur de séquence la plus longue et la répartition de la longueur des requêtes réussies, le nombre de cas d'utilisation adoptés et référencés par l'entreprise, etc. ;
• Nombre de détections de défauts : Capacité d'interception des défauts, c'est-à-dire le nombre de problèmes et le taux de fausses alarmes de défauts de service du produit  ;
• Couverture : Comprend la couverture de la boîte blanc-gris-noir, c'est-à-dire la couverture du code, la couverture des combinaisons d'interface et de paramètres, la couverture des scénarios commerciaux, etc.

Trois pratiques typiques de scénarios d'application métier au sein de Huawei

• Scénario d'application métier 1

Forme du produit : produits cloud de services de gestion et de contrôle du stockage, basés sur les services vers le nord, contrôle vers le sud des périphériques de stockage intégrés

Taille de l’équipe de test : 50+ personnes

Nombre total d’interfaces Restful en direction nord : 2 300+

Situation actuelle avant l'application : L'équipe est nouvellement créée et manque d'interface et de réseau de protection d'automatisation des tests fonctionnels

Mode application : créez rapidement des cas de test de réseau de protection de test d'interface et de test fonctionnel à partir de zéro

Effet d'application : plus de 350 défauts d'interface ont été trouvés, couvrant 3 grandes catégories de défauts. L'efficacité des requêtes au niveau de l'interface API peut atteindre plus de 80 % et le taux de faux positifs est de 10 %.

• Scénario d'application métier 2

Forme de produit : assurance du réseau des opérateurs et des entreprises et services cloud d'exploitation et de maintenance intelligents, déploiement de cloud public/cloud privé

Taille de l'équipe de test : 50 personnes

Nombre total d’interfaces Restful en direction nord : 10 000+

État actuel avant application : plus de 8 000 cas de tests d'interface et fonctionnels

Mode application : amélioration de la couverture et complément aux cas de tests existants

Effet d'application : la couverture des tests de scénario a augmenté de 30 % et plus de 30 problèmes de logique métier profonds ont été récemment découverts. Les exemples sont les suivants :

• Scénario d'application métier 3

Forme du produit : service natif cloud de l'outil XX

Taille de l'équipe de test : équipe complète, pas de testeurs à temps plein

Nombre total d'interfaces Restful : 1 300+

État actuel avant application : plus de 10 000 cas de tests d’interface

Mode application : intégrez ATGen dans le pipeline de l'environnement alpha et bêta du service d'outils. Une fois la construction terminée et la tâche de test de régression terminée, la tâche de génération est automatiquement déclenchée pour détecter s'il existe des interfaces défaillantes, en tant que renforcement du contrôle d'accès alpha et bêta.

Effet d'application : plus de 60 défauts d'interface ont été découverts en outre, et l'efficacité de la génération de tests d'interface API peut atteindre 82 %.

Face à l'itération rapide des versions de produits basées sur le cloud, les scénarios d'application sont de plus en plus riches et les fonctions des produits sont de plus en plus complexes, il devient de plus en plus difficile de s'appuyer entièrement sur l'expérience des tests humains pour garantir la qualité. du robot de test fonctionnel de scénario complet ATGen entre en jeu. Born, il peut réaliser des

tests de scénario complet d'API à faible coût, sans code, à couverture élevée et à faible taux de faux positifs, et continuer. fournir aux développeurs des services de haute qualité.

【1】« MOREST : Tests d'API RESTful basés sur un modèle avec retour d'exécution », ICSE '22,

【2】« Pratique industrielle des tests automatiques d'API RESTful », ASE'22

Suivez @HUAWEICloud pour plus d'informations

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!