Les humains ont toujours un pouvoir financier : une étude montre que ChatGPT est inférieur aux étudiants aux examens de comptabilité

Les performances de ChatGPT aux examens de comptabilité sont bien inférieures à celles des humains, et il raconte même de sérieuses bêtises pour justifier de mauvaises réponses.

Wood, professeur de comptabilité à l'université Brigham Young aux États-Unis, et son équipe ont décidé de tester ChatGPT pour voir s'il pouvait répondre aux questions des cours de comptabilité universitaires. Ils ont lancé un appel sur les réseaux sociaux qui a attiré 327 collaborateurs de 186 établissements d'enseignement dans 14 pays. Ils proposent un total de 25 181 questions d'examen de comptabilité couvrant des domaines tels que les systèmes d'information comptable, l'audit, la comptabilité financière, la comptabilité de gestion et la fiscalité. Ils ont également invité les étudiants de premier cycle de BYU, dont Jessica, la fille de Wood, à saisir 2 268 questions d'examen de manuels scolaires dans ChatGPT.

Les résultats montrent que même si les performances de ChatGPT présentent des points positifs, elles ne sont généralement pas aussi bonnes que le niveau des étudiants. Le score moyen des étudiants était de 76,7 %, tandis que le score moyen de ChatGPT n'était que de 47,4 %. Sur 11,3% des questions, ChatGPT a obtenu des scores supérieurs à la moyenne des étudiants, notamment en systèmes d'information comptables et en audit. Cependant, ChatGPT n'est pas à la hauteur en matière de fiscalité, de finance et de gestion, probablement parce que ces domaines nécessitent davantage de compétences en mathématiques. En termes de types de questions, ChatGPT est meilleur pour les questions vrai-faux (taux correct de 68,7 %) et les questions à choix multiples (taux correct de 59,5 %), mais a du mal avec les questions à réponse courte (taux correct entre 28,7 % et 39,1 %). En général, il est plus difficile pour ChatGPT de répondre aux questions qui nécessitent une réflexion de plus haut niveau. Parfois, ChatGPT fournit même des explications faisant autorité pour des réponses incorrectes ou donne des réponses différentes à la même question.

"Ce n'est pas parfait, vous ne pouvez pas vous attendre à ce qu'il fasse tout." Jessica a déclaré : "C'est stupide de s'appuyer uniquement sur ChatGPT pour apprendre."

IT House a également noté que les chercheurs ont également trouvé d'autres choses intéressantes. Phénomène :

• ChatGPT Parfois, je ne sais pas que je fais des problèmes de mathématiques et je ferai des erreurs ridicules, comme ajouter deux nombres à un problème de soustraction ou faire un mauvais calcul de division.
• ChatGPT fournit souvent des explications sur ses réponses, même si elles sont fausses. Parfois, la description de ChatGPT est correcte, mais elle sélectionne la mauvaise option.
• ChatGPT invente parfois des choses. Par exemple, lorsque vous fournissez une référence, cela générera une référence qui semble réelle, mais qui est en réalité complètement fictive, et parfois même l'auteur n'existe pas.

Néanmoins, les chercheurs pensent que dans les versions futures, ChatGPT apportera des améliorations aux problèmes de comptabilité et résoudra les problèmes ci-dessus. Ce qu'ils considèrent comme le plus prometteur, c'est que le chatbot peut contribuer à améliorer l'enseignement et l'apprentissage, par exemple en concevant et en testant des devoirs, ou en étant utilisé pour rédiger des parties de projets.

"C'est l'occasion de réfléchir et de voir si nous enseignons des informations précieuses", a déclaré Larson, professeur de comptabilité à BYU et l'un des co-auteurs de l'étude. "C'est une perturbation, et nous devons évaluer notre quoi. à faire ensuite. Bien sûr, j’aurai toujours des assistants pédagogiques, mais le contenu sera différent.

L’étude a été publiée dans la revue Issues in Accounting Education.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!