GPT-4O VS OpenAI O1: Le nouveau modèle Openai vaut-il le battage médiatique?

Introduction

Openai a publié son nouveau modèle basé sur l'architecture «aux fraises» très attendue. Ce modèle innovant, connu sous le nom d'O1, améliore les capacités de raisonnement, ce qui lui permet de réfléchir plus efficacement aux problèmes avant de fournir des réponses. En tant qu'utilisateur Chatgpt Plus, j'ai eu l'occasion d'explorer ce nouveau modèle de première main. Je suis ravi de partager mes idées sur ses performances, ses capacités et ses implications pour les utilisateurs et les développeurs. Je comparerai soigneusement GPT-4O contre Openai O1 sur différentes mesures. Sans plus tarder, commençons.

Dans cet article, vous explorerez les différences entre GPT O1AndGPT-4O, y compris une comparaison de GPT O1 vs GPT 4. Nous fournirons des informations sur les performances du GPT 4O vs O1 Aperçu et vous guiderons sur le point d'utiliser GPT O1Effectivement. De plus, nous discuterons du coût du GPT O1, mettons en évidence la disponibilité d'Agpt O1 Freetier et nous introduisons la Miniversion O1. Enfin, nous analyserons le débat en cours de GPT 4O vs O1 vs Openaito vous aider à prendre une décision éclairée.

Lisez la suite!

Nouveau sur les modèles Openai? Lisez ceci pour savoir comment utiliser Openai O1: comment accéder à Openai O1?

Nouvelle mise à jour sur Openai O1:

• OpenAI a augmenté les limites de taux pour O1-MinI pour plus et les utilisateurs de l'équipe par 7x - de 50 messages par semaine à 50 messages par jour.
• Pour O1-Preview, la limite de taux est passée de 30 à 50 messages hebdomadaires.

Aperçu

• Le nouveau modèle O1 d'Openai améliore les capacités de raisonnement grâce à une approche «chaîne de pensée», ce qui le rend idéal pour des tâches complexes.
• GPT-4O est un modèle multimodal polyvalent adapté aux tâches à usage général sur les entrées de texte, de parole et de vidéo.
• Openai O1 excelle dans les scénarios GPT-4O mathématiques, codants et scientifiques de résolution de problèmes.
• Bien que OpenAI O1 offre des performances multilingues améliorées, il a des limitations de vitesse, de coût et de support multimodales.
• Le GPT-4O reste le meilleur choix pour les applications AI rapides, rentables et polyvalentes nécessitant une fonctionnalité générale.
• Le choix entre GPT-4O et OpenAI O1 dépend des besoins spécifiques. Chaque modèle offre des forces uniques pour différents cas d'utilisation.

Table des matières

• Introduction
• But de la comparaison: GPT-4O VS OpenAI O1
• Aperçu de tous les modèles OpenAI O1
• Capacités de modèle d'O1 et GPT 4O
  • Openai O1
  • O1 d'Openai: le modèle de chaîne de pensée
  • GPT-4O
• GPT-4O VS OpenAI O1: Capacités multilingues
• Évaluation de l'Openai O1: dépasser le GPT-4O sur les examens humains et les repères ML
• GPT-4O VS OpenAI O1: Évaluations de jailbreak
• GPT-4O VS OpenAI O1 dans la manipulation des tâches agentiques
• GPT-4O VS OpenAI O1: Évaluations des hallucinations
• Qualité vs vitesse vs coût
• Openai O1 vs GPT-4O: Évaluation des préférences humaines
• Openai O1 vs GPT-4O: Qui est le meilleur dans différentes tâches?
  • Décodage du texte chiffré
  • Sciences de la santé
  • Questions de raisonnement
  • Codage: créer un jeu
• GPT-4O VS OpenAI O1: API et détails d'utilisation
• Limites de l'Openai O1
• Openai O1 a du mal avec des tâches de questions-réponses sur les événements et entités récents
• Openai O1 est meilleur pour le raisonnement logique que GPT-4O
• Le verdict final: GPT-4O vs Openai O1
• Conclusion

But de la comparaison: GPT-4O VS OpenAI O1

Voici pourquoi nous comparons - GPT-4O vs Openai O1:

• GPT-4O est un modèle multimodal polyvalent capable de traiter des entrées de texte, de discours et de vidéo, ce qui le rend adapté à diverses tâches générales. Il alimente la dernière itération de Chatgpt, présentant sa force dans la génération de texte humain et l'interaction sur plusieurs modalités.
• OpenAI O1 est un modèle plus spécialisé pour le raisonnement complexe et la résolution de problèmes en mathématiques, codage et plus de champs. Il excelle aux tâches nécessitant une compréhension approfondie des concepts avancés, ce qui le rend idéal pour des domaines difficiles tels que le raisonnement logique avancé.

Objectif de la comparaison: cette comparaison met en évidence les forces uniques de chaque modèle et clarifie leurs cas d'utilisation optimaux. Bien que OpenAI O1 soit excellent pour les tâches de raisonnement complexes, il n'est pas destiné à remplacer GPT-4O pour les applications à usage général. En examinant leurs capacités, leurs mesures de performance, leur vitesse, leur coût et leurs cas d'utilisation, je fournirai des informations sur le modèle mieux adapté à différents besoins et scénarios.

Aperçu de tous les modèles OpenAI O1

Voici la représentation tabulaire d'Openai O1:

MODÈLE	DESCRIPTION	Fenêtre de contexte	Jetons de sortie max	Données de formation
O1-Preview	Pointe vers l'instantané le plus récent du modèle O1: O1-Preview-2024-09-12	128 000 jetons	32 768 jetons	Jusqu'en octobre 2023
O1-Preview-2024-09-12	Dernier instantané du modèle O1	128 000 jetons	32 768 jetons	Jusqu'en octobre 2023
O1-MINI	Souligne le plus récent instantané O1-Mini: O1-MINI-2024-09-12	128 000 jetons	65 536 jetons	Jusqu'en octobre 2023
O1-MINI-2024-09-12	Dernier instantané du modèle O1-Mini	128 000 jetons	65 536 jetons	Jusqu'en octobre 2023

Capacités de modèle d'O1 et GPT 4O

Openai O1

Le modèle O1 d'OpenAI a démontré des performances remarquables à travers divers repères. Il s'est classé dans le 89e centile sur les défis de programmation compétitifs des forces de codes et placé parmi les 500 premiers de la qualification (AIME) des États-Unis. De plus, il a dépassé la précision au niveau du doctorat humain sur une référence de problèmes de physique, de biologie et de chimie (GPQA).

Le modèle est formé à l'aide d'un algorithme d'apprentissage de renforcement à grande échelle qui améliore ses capacités de raisonnement grâce à un processus de «chaîne de pensée», permettant un apprentissage économe en données. Les résultats indiquent que ses performances s'améliorent avec l'augmentation de l'informatique pendant la formation et plus de temps alloué au raisonnement lors des tests, ce qui a provoqué une étude plus approfondie sur cette nouvelle approche de mise à l'échelle, qui diffère des méthodes de pré-élaction LLM traditionnelles. Avant de comparer davantage, examinons «comment la chaîne du processus de pensée améliore les capacités de raisonnement d'Openai O1».

O1 d'Openai: le modèle de chaîne de pensée

Les modèles Openai O1 introduisent de nouveaux compromis en coût et en performances pour offrir de meilleures capacités de «raisonnement». Ces modèles sont formés spécifiquement pour un processus de «chaîne de pensée», ce qui signifie qu'ils sont conçus pour réfléchir étape par étape avant de répondre. Cela s'appuie sur la chaîne de la pensée invitant le modèle introduit en 2022, qui encourage l'IA à penser systématiquement plutôt que de simplement prédire le mot suivant. L'algorithme leur apprend à décomposer des tâches complexes, à apprendre des erreurs et à essayer des approches alternatives si nécessaire.

Lire aussi: O1: le nouveau modèle d'Openai qui «pense» avant de répondre à des problèmes difficiles

Éléments clés du raisonnement LLMS

Les modèles O1 introduisent des jetons de raisonnement. Les modèles utilisent ces jetons de raisonnement pour «penser», en décomposant leur compréhension de l'invite et en considérant plusieurs approches pour générer une réponse. Après avoir généré des jetons de raisonnement, le modèle produit une réponse en tant que jetons d'achèvement visibles et rejette les jetons de raisonnement à partir de son contexte.

1. Temps d'apprentissage et de réflexion sur le renforcement

Le modèle O1 utilise un algorithme d'apprentissage de renforcement qui encourage des périodes de réflexion plus longues et plus approfondies avant de produire une réponse. Ce processus est conçu pour aider le modèle à mieux gérer les tâches de raisonnement complexes.

Les performances du modèle s'améliorent à la fois avec une augmentation du temps de formation (calcul en train) et lorsqu'il a plus de temps pour réfléchir pendant l'évaluation (calcul du temps de test).

2. Application de la chaîne de pensée

L'approche de la chaîne de pensée permet au modèle de décomposer des problèmes complexes en étapes plus simples et plus gérables. Il peut revisiter et affiner ses stratégies, essayant différentes méthodes lorsque l'approche initiale échoue.

Cette méthode est bénéfique pour les tâches nécessitant un raisonnement en plusieurs étapes, telles que la résolution de problèmes mathématiques, le codage et la réponse aux questions ouvertes.

Lisez plus d'articles sur l'ingénierie rapide ici.

3. Évaluations des préférences et de la sécurité humaines

Dans les évaluations comparant les performances de l'O1-Preview à GPT-4O, les entraîneurs humains préféraient massivement les sorties de l'O1-Preview dans les tâches qui nécessitaient de fortes capacités de raisonnement.

L'intégration du raisonnement de la chaîne de pensée dans le modèle contribue également à une meilleure sécurité et à l'alignement sur les valeurs humaines. En intégrant les règles de sécurité directement dans le processus de raisonnement, O1-Preview montre une meilleure compréhension des limites de sécurité, réduisant la probabilité de compléments nocifs même dans des scénarios difficiles.

4. Les jetons de raisonnement caché et la transparence du modèle

OpenAI a décidé de garder la chaîne de pensée détaillée cachée à l'utilisateur pour protéger l'intégrité du processus de réflexion du modèle et maintenir un avantage concurrentiel. Cependant, ils fournissent une version résumée aux utilisateurs pour aider à comprendre comment le modèle est arrivé à ses conclusions.

Cette décision permet à OpenAI de surveiller le raisonnement du modèle à des fins de sécurité, telles que la détection des tentatives de manipulation ou la conformité des politiques.

Lire aussi: GPT-4O vs Gemini: Comparaison de deux puissants modèles d'IA multimodaux

5. Métriques et améliorations de la performance

Les modèles O1 ont montré des progrès importants dans les principaux domaines de performance:

• Sur les références de raisonnement complexes, O1-Preview a réalisé des scores qui rivalisent souvent avec les experts humains.
• Les améliorations du modèle dans les concours de programmation compétitive et les compétitions de mathématiques démontrent ses capacités de raisonnement et de résolution de problèmes améliorées.

Les évaluations de la sécurité montrent que O1-Preview fonctionne beaucoup mieux que GPT-4O dans la gestion des invites et des cas de bord potentiellement nocifs, renforçant sa robustesse.

Lire aussi: O1-Mini d'Openai: un modèle qui change la donne pour la tige avec un raisonnement rentable

GPT-4O

Le GPT-4O est un adepte de puissance multimodale à manipuler des entrées de texte, de discours et de vidéo, ce qui le rend polyvalent pour une gamme de tâches à usage général. Ce modèle alimente Chatgpt, présentant sa force dans la génération de texte humain, l'interprétation des commandes vocales et même l'analyse du contenu vidéo. Pour les utilisateurs qui ont besoin d'un modèle qui peut fonctionner dans divers formats de manière transparente, GPT-4O est un concurrent solide.

Avant GPT-4O, l'utilisation du mode vocal avec Chatgpt impliquait une latence moyenne de 2,8 secondes avec GPT-3,5 et 5,4 secondes avec GPT-4. Ceci a été réalisé via un pipeline de trois modèles distincts: un modèle de base a d'abord transcrit l'audio au texte, puis GPT-3.5 ou GPT-4 ont traité l'entrée de texte pour générer une sortie de texte, et enfin, un troisième modèle a converti ce texte en audio. Cette configuration signifiait que l'IA de base - GPT-4 - était quelque peu limitée, car elle ne pouvait pas interpréter directement des nuances comme le ton, plusieurs haut-parleurs, des sons de fond ou des éléments express comme le rire, le chant ou l'émotion.

Avec GPT-4O, OpenAI a développé un modèle entièrement nouveau qui intègre le texte, la vision et l'audio dans un seul réseau neuronal de bout en bout. Cette approche unifiée permet à GPT-4O de gérer toutes les entrées et sorties dans le même cadre, améliorant considérablement sa capacité à comprendre et à générer un contenu multimodal plus nuancé.

Vous pouvez explorer plus de capacités GPT-4O ici: Bonjour GPT-4O.

GPT-4O VS OpenAI O1: Capacités multilingues

La comparaison entre les modèles O1 d'OpenAI et GPT-4O met en évidence leurs capacités de performances multilingues , en se concentrant sur les modèles O1-Preview et O1-MinI contre GPT-4O.

L'ensemble de tests MMLU (compréhension des langues multilingues massivement a été traduit dans 14 langues de traducteurs humains pour évaluer leurs performances sur plusieurs langues. Cette approche garantit une précision plus élevée, en particulier pour les langues moins représentées ou qui ont des ressources limitées, comme Yoruba. L'étude a utilisé ces ensembles de tests translés par l'homme pour comparer les capacités des modèles dans divers contextes linguistiques.

Résultats clés:

• O1-Preview démontre des capacités multilingues significativement plus élevées que GPT-4O, avec des améliorations notables dans des langues telles que l'arabe, le bengali et le chinois. Cela indique que le modèle O1-Preview est mieux adapté aux tâches nécessitant une compréhension et un traitement robustes de diverses langues.
• O1-Mini surpasse également son homologue, GPT-4O-MINI, montrant des améliorations cohérentes sur plusieurs langues. Cela suggère que même la version plus petite des modèles O1 maintient des capacités multilingues améliorées.

Traductions humaines:

L'utilisation de traductions humaines plutôt que des traductions machine (comme dans les évaluations antérieures avec des modèles comme GPT-4 et Azure traduit) s'avère être une méthode plus fiable pour évaluer les performances. Cela est particulièrement vrai pour les langues moins largement parlées, où les traductions machine manquent souvent de précision.

Dans l'ensemble, l'évaluation montre que O1-Preview et O1-MINI surpassent leurs homologues GPT-4O dans des tâches multilingues, en particulier dans les langues linguistiquement diverses ou à faible ressource. L'utilisation de traductions humaines dans les tests souligne la compréhension supérieure du langage des modèles O1, ce qui les rend plus capables de gérer les scénarios multilingues du monde réel. Cela démontre l'avancement d'Openai dans la construction de modèles avec une compréhension du langage plus large et plus inclusive.

Évaluation de l'Openai O1: dépasser le GPT-4O sur les examens humains et les repères ML

Pour démontrer des améliorations des capacités de raisonnement par rapport à GPT-4O, le modèle O1 a été testé sur un éventail diversifié d'examens humains et de repères d'apprentissage automatique. Les résultats montrent que O1 surpasse considérablement le GPT-4O sur la plupart des tâches à forte intensité de raisonnement, en utilisant le paramètre de calcul de test maximal de test, sauf indication contraire.

Évaluations de la compétition

• Mathématiques (AIME 2024), codage (Forces de codes) et sciences au niveau du doctorat (diamant GPQA): O1 montre une amélioration substantielle par rapport à GPT-4O sur des repères de raisonnement difficiles. La précision du passage @ 1 est représentée par des barres solides, tandis que les zones ombrées représentent la performance de vote majoritaire (consensus) avec 64 échantillons.
• Comparaisons de référence: O1 surpasse GPT-4O à travers un large éventail de repères, dont 54 des sous-catégories de 57 mmlu.

Informations sur les performances détaillées

• Mathématiques (AIME 2024): Sur l'American Invitational Mathematics Examination (AIME) 2024, O1 a démontré un progrès significatif sur GPT-4O. Le GPT-4O n'a résolu que 12% des problèmes, tandis que O1 a atteint une précision de 74% avec un seul échantillon par problème, 83% avec un consensus de 64 échantillons et 93% avec un reconstitution de 1000 échantillons. Ce niveau de performance place O1 parmi les 500 meilleurs étudiants à l'échelle nationale et au-dessus du seuil de l'Olympiade mathématique des États-Unis.
• Science (GPQA Diamond): Dans la référence GPQA Diamond, qui teste l'expertise en chimie, en physique et en biologie, O1 a dépassé la performance des experts humains avec des doctorants, marquant la première fois qu'un modèle le fait. Cependant, ce résultat ne suggère pas que l'O1 est supérieur aux doctorants à tous égards, mais plutôt plus compétent dans des scénarios de résolution de problèmes spécifiques attendus d'un doctorat.

Performance globale

• O1 a également excellé dans d'autres références d'apprentissage automatique, surpassant les modèles de pointe. Avec les capacités de perception de la vision activées, il a obtenu un score de 78,2% sur MMMU, ce qui en fait le premier modèle d'être compétitif avec les experts humains et de surpasser GPT-4O dans 54 sous-catégories de 57 mmlu.

GPT-4O VS OpenAI O1: Évaluations de jailbreak

Ici, nous discutons de l'évaluation de la robustesse des modèles O1 (en particulier O1-Preview et O1-MinI) contre les «jailbreaks», qui sont des invites adversares conçues pour contourner les restrictions de contenu du modèle. Les quatre évaluations suivantes ont été utilisées pour mesurer la résilience des modèles à ces jailbreaks:

1. Production Jailbreaks : Une collection de techniques de jailbreak identifiées à partir des données d'utilisation réelles dans l'environnement de production de Chatgpt.
2. Exemples augmentés par jailbreak : Cette évaluation applique des méthodes de jailbreak connues à un ensemble d'exemples généralement utilisés pour tester le contenu interdit, évaluant la capacité du modèle à résister à ces tentatives.
3. Jailbreaks d'origine humaine : Techniques de jailbreak créées par des testeurs humains, souvent appelés «équipes rouges», testant le stress des défenses du modèle.
4. StrongReject : une référence académique qui évalue la résistance d'un modèle contre les attaques de jailbreak bien documentées et courantes. La métrique «[e-mail protégé]» est utilisée pour évaluer la sécurité du modèle en mesurant ses performances par rapport aux 10% des méthodes de jailbreak pour chaque invite.

Comparaison avec GPT-4O :

La figure ci-dessus compare les performances des modèles O1-Preview, O1-MINI et GPT-4O sur ces évaluations. Les résultats montrent que les modèles O1 (O1-Preview et O1-MinI) démontrent une amélioration significative de la robustesse par rapport au GPT-4O, en particulier dans l'évaluation de la forte réject, qui est notée pour sa difficulté et sa dépendance à des techniques avancées de jailbreak. Cela suggère que les modèles O1 sont mieux équipés pour gérer les invites contradictoires et se conformer aux directives de contenu que GPT-4O.

GPT-4O VS OpenAI O1 dans la manipulation des tâches agentiques

Ici, nous évaluons O1-Preview, O1-Mini et GPT-4O d'OpenAI dans les tâches agentiques, mettant en évidence leurs taux de réussite dans divers scénarios. Les tâches ont été conçues pour tester les capacités des modèles à effectuer des opérations complexes telles que la configuration des conteneurs Docker, le lancement d'instances GPU basées sur le cloud et la création de serveurs Web authentifiés.

Environnement d'évaluation et catégories de tâches

L'évaluation a été réalisée dans deux environnements principaux:

1. Environnement textuel : impliquant un codage Python dans un terminal Linux, amélioré avec l'accélération du GPU.
2. Environnement du navigateur : tirant parti d'un échafaudage externe contenant un HTML prétraité avec des captures d'écran en option pour obtenir de l'aide.

Les tâches couvrent une gamme de catégories, telles que:

• Configuration d'un conteneur Docker pour exécuter un serveur d'inférence compatible avec l'API OpenAI.
• Développement d'un serveur Web basé sur Python avec des mécanismes d'authentification.
• Déploiement des instances GPU basées sur le cloud.

OpenAI O1-Preview et O1-Mini se déroulent aujourd'hui dans l'API pour les développeurs du niveau 5.

O1-Preview a de solides capacités de raisonnement et de larges connaissances mondiales.

O1-MINI est plus rapide, 80% moins cher et compétitif avec O1-Preview aux tâches de codage.

Plus dans https://t.co/l6vkoukfla. https://t.co/moqfsez2f6

- Openai Developers (@Operenidevs) 12 septembre 2024

Résultats clés et résultats de performance

Le graphique représente visuellement les taux de réussite des modèles sur 100 essais par tâche. Les observations clés comprennent:

• Tâches proxy de l'API OpenAI : La tâche la plus difficile, configurant un proxy API OpenAI, était l'endroit où tous les modèles se sont battus de manière significative. Aucun n'a obtenu de taux de réussite élevés, indiquant une contestation substantielle dans tous les domaines.
• Chargement de Mistral 7B dans Docker : cette tâche a vu un succès varié. Le modèle O1-MinI a fonctionné un peu mieux, bien que tous les modèles aient eu du mal par rapport à des tâches plus faciles.
• L'achat de GPU via Ranger : GPT-4O a surpassé les autres par une marge significative, démontrant une capacité supérieure dans les tâches impliquant des API et des interactions tierces.
• Tâches d'échantillonnage : GPT-4O a montré des taux de réussite plus élevés dans les tâches d'échantillonnage, telles que l'échantillonnage de Nanogpt ou GPT-2 dans Pytorch, indiquant son efficacité dans les tâches liées à l'apprentissage automatique.
• Des tâches simples comme la création d'un portefeuille Bitcoin : GPT-4O a très bien fonctionné, atteignant presque un score parfait.

Lire aussi: de GPT à Mistral-7b: le saut passionnant en avant dans les conversations de l'IA

Aperçu des comportements du modèle

L'évaluation révèle que si les modèles frontaliers, tels que O1-Preview et O1-MINI, réussissent parfois à passer les tâches agentiques primaires, elles le font souvent en gérant de manière approfondie des sous-tâches contextuelles. Cependant, ces modèles montrent toujours des carences notables dans la gestion constante des tâches complexes et en plusieurs étapes.

Après les mises à jour post-atténuation, le modèle O1-Preview a présenté des comportements de refus distincts par rapport aux versions ChatGPT antérieures. Cela a conduit à une diminution des performances sur des sous-tâches spécifiques, en particulier celles impliquant la réimplémentation des API comme celle d'OpenAI. D'un autre côté, O1-Preview et O1-MINI ont démontré le potentiel de passer les tâches primaires dans certaines conditions, telles que l'établissement de proxys API authentifiés ou le déploiement de serveurs d'inférence dans des environnements Docker. Néanmoins, l'inspection manuelle a révélé que ces succès impliquaient parfois des approches simplifiées à l'extérieur, comme l'utilisation d'un modèle moins complexe que le Mistral 7B attendu.

Dans l'ensemble, cette évaluation souligne les défis en cours auxquels les modèles AI avancés sont confrontés pour obtenir un succès constant dans les tâches agentiques complexes. Alors que des modèles comme GPT-4O présentent de fortes performances dans des tâches plus simples ou étroitement définies, elles rencontrent toujours des difficultés avec des tâches multicouches qui nécessitent un raisonnement d'ordre supérieur et des processus multi-étapes soutenus. Les résultats suggèrent que, bien que les progrès soient évidents, il reste un chemin important à venir pour que ces modèles soignent tous les types de tâches agentiques robuste et de manière fiable.

GPT-4O VS OpenAI O1: Évaluations des hallucinations

Lisez également à propos de Knowhalu: les plus grandes hallucinations de défaut de l'IA ont finalement résolues avec Knowhalu!

Pour mieux comprendre les évaluations d'hallucination de différents modèles de langage, l'évaluation suivante compare les modèles GPT-4O, O1-Preview et O1-MinI dans plusieurs ensembles de données conçus pour provoquer des hallucinations:

Ensembles de données d'évaluation des hallucinations

1. SimpleQA: un ensemble de données composé de 4 000 questions de recherche de faits avec des réponses courtes. Cet ensemble de données est utilisé pour mesurer la précision du modèle en fournissant des réponses correctes.
2. BirthdayFacts: un ensemble de données qui nécessite le modèle pour deviner l'anniversaire d'une personne, mesurant la fréquence à laquelle le modèle fournit des dates incorrectes.
3. Questions ouvertes: un ensemble de données contenant des invites qui demandent au modèle de générer des faits sur des sujets arbitraires (par exemple, «Écrivez une biographie sur »). Les performances du modèle sont évaluées en fonction du nombre d'instructions incorrectes produites, vérifiées contre des sources comme Wikipedia.

Résultats

• O1-Preview présente moins d'hallucinations par rapport à GPT-4O, tandis que O1-MINI hallucine moins fréquemment que GPT-4O-MINI dans tous les ensembles de données.
• Malgré ces résultats, des preuves anecdotiques suggèrent que O1-Preview et O1-MINI peuvent en fait halluciner plus fréquemment que leurs homologues GPT-4O dans la pratique. Des recherches supplémentaires sont nécessaires pour comprendre les hallucinations de manière approfondie, en particulier dans des domaines spécialisés comme la chimie qui n'étaient pas couverts dans ces évaluations.
• Il est également noté par Red Teamers que O1-Preview fournit des réponses plus détaillées dans certains domaines, ce qui pourrait rendre ses hallucinations plus convaincantes. Cela augmente le risque que les utilisateurs faisaient à tort faire confiance et s'appuyer sur des informations incorrectes générées par le modèle.

Bien que les évaluations quantitatives suggèrent que les modèles O1 (aperçu et mini-versions mini) s'hallucinent moins fréquemment que les modèles GPT-4O, il existe des préoccupations basées sur la rétroaction qualitative selon laquelle cela peut ne pas toujours être vrai. Une analyse plus approfondie dans divers domaines est nécessaire pour développer une compréhension holistique de la façon dont ces modèles gèrent les hallucinations et leur impact potentiel sur les utilisateurs.

Lire aussi: L'hallucination dans les modèles de grande langue (LLMS) est-elle inévitable?

Qualité vs vitesse vs coût

Comparons les modèles concernant la qualité, la vitesse et le coût. Ici, nous avons un graphique qui compare plusieurs modèles:

Qualité des modèles

Les modèles O1-Preview et O1-MinI sont en tête des graphiques! Ils fournissent les scores de la plus haute qualité, avec 86 pour l'O1-Preview et 82 pour l'O1-MINI. Cela signifie que ces deux modèles surpassent d'autres comme GPT-4O et Claude 3.5 Comet.

Vitesse des modèles

Maintenant, parler de vitesse - les choses deviennent un peu plus intéressantes. L'O1-MINI est décemment rapide, parcourant 74 jetons par seconde, ce qui le place dans la plage du milieu. Cependant, la prévision de l'O1 est plus lente, ne produisant que 23 jetons par seconde. Ainsi, bien qu'ils offrent de la qualité, vous devrez peut-être échanger un peu de vitesse si vous optez pour l'O1-Preview.

Prix ​​des modèles

Et voici le botteur! L'O1-Preview est tout à fait la folie à 26,3 USD par million de jetons, plus que la plupart des autres options. Pendant ce temps, l'O1-Mini est un choix plus abordable, au prix de 5 USD. Mais si vous êtes soucieux du budget, des modèles comme les Gémeaux (à seulement 0,1 USD) ou les modèles LLAMA pourraient être plus dans votre ruelle.

Fin de compte

Le GPT-4O est optimisé pour les temps de réponse plus rapides et les coûts inférieurs, en particulier par rapport au GPT-4 Turbo. L'efficacité profite aux utilisateurs qui ont besoin de solutions rapides et rentables sans sacrifier la qualité de sortie dans les tâches générales. La conception du modèle le rend adapté aux applications en temps réel où la vitesse est cruciale.

Cependant, GPT O1 échange de la vitesse pour la profondeur. En raison de son accent sur le raisonnement approfondi et la résolution de problèmes, il a des temps de réponse plus lents et entraîne des coûts de calcul plus élevés. Les algorithmes sophistiqués du modèle nécessitent plus de puissance de traitement, ce qui est un compromis nécessaire pour sa capacité à gérer les tâches très complexes. Par conséquent, OpenAI O1 n'est peut-être pas le choix idéal lorsque des résultats rapides sont nécessaires, mais il brille dans des scénarios où la précision et l'analyse complète sont primordiales.

En savoir plus ici: O1: le nouveau modèle d'Openai qui «pense» avant de répondre à des problèmes difficiles

De plus, l'une des caractéristiques remarquables de GPT-O1 est sa dépendance à l'incitation. Le modèle prospère sur des instructions détaillées, qui peuvent améliorer considérablement ses capacités de raisonnement. En l'encourageant à visualiser le scénario et à réfléchir à chaque étape, j'ai trouvé que le modèle pouvait produire des réponses plus précises et perspicaces. Cette approche lourde d'invite suggère que les utilisateurs doivent adapter leurs interactions avec le modèle pour maximiser son potentiel.

En comparaison, j'ai également testé GPT-4O avec des tâches à usage général, et étonnamment, elle a mieux fonctionné que le modèle O1. Cela indique que si les progrès ont été faits, il y a encore place à raffiner dans la façon dont ces modèles traitent la logique complexe.

Openai O1 vs GPT-4O: Évaluation des préférences humaines

OpenAI a effectué des évaluations pour comprendre les préférences humaines pour deux de ses modèles: O1-Preview et GPT-4O. Ces évaluations se sont concentrées sur des invites difficiles et ouvertes couvrant divers domaines. Dans cette évaluation, les formateurs humains ont reçu des réponses anonymisées des deux modèles et ont demandé à choisir la réponse qu'ils préféraient.

Les résultats ont montré que la prévision de l'O1 est apparue comme un favori clair dans les domaines qui nécessitent un raisonnement intense, comme l'analyse des données, la programmation informatique et les calculs mathématiques. Dans ces domaines, O1-Preview a été significativement préféré au GPT-4O, indiquant sa performance supérieure dans les tâches qui exigent une pensée logique et structurée.

Cependant, la préférence pour l'O1-Preview n'était pas aussi forte dans les domaines centrés sur des tâches de langue naturelle, telles que l'écriture personnelle ou l'édition de texte. Cela suggère que si O1-Preview excelle dans un raisonnement complexe, ce n'est peut-être pas toujours le meilleur choix pour les tâches qui reposent fortement sur la génération de langage nuancée ou l'expression créative.

Les résultats mettent en évidence un point critique: O1-Preview montre un grand potentiel dans des contextes qui bénéficient de meilleures capacités de raisonnement, mais son application pourrait être plus limitée en ce qui concerne les tâches plus subtiles et créatives basées sur le langage. Cette double nature offre des informations précieuses pour les utilisateurs dans le choix du bon modèle en fonction de leurs besoins.

Lire aussi: pré-formation générative (GPT) pour la compréhension du langage naturel

Openai O1 vs GPT-4O: Qui est le meilleur dans différentes tâches?

La différence de conception et de capacités du modèle se traduit par leur aptitude à différents cas d'utilisation:

GPT-4O excelle dans les tâches impliquant la génération de texte, la traduction et la résumé. Ses capacités multimodales le rendent particulièrement efficace pour les applications qui nécessitent une interaction entre divers formats, tels que les assistants vocaux, les chatbots et les outils de création de contenu. Le modèle est polyvalent et flexible, adapté à un large éventail d'applications nécessitant des tâches d'IA générales.

Openai O1 est idéal pour la résolution de problèmes scientifiques et mathématiques complexes. Il améliore les tâches de codage grâce à l'amélioration des capacités de génération de code et de débogage, ce qui en fait un outil puissant pour les développeurs et les chercheurs travaillant sur des projets difficiles. Sa force consiste à gérer des problèmes complexes nécessitant un raisonnement avancé, une analyse détaillée et une expertise spécifique au domaine.

Décodage du texte chiffré

Analyse GPT-4O

• Approche : reconnaît que la phrase originale se traduit par «penser étape par étape» et suggère que le déchiffrement implique de sélectionner ou de transformer des lettres spécifiques. Cependant, il ne fournit pas de méthode de décodage concret, laissant le processus incomplet et demandant plus d'informations.
• Limites : manque de méthode spécifique pour le décodage, ce qui entraîne une analyse inachevée.

Analyse Openai O1

• Approche : Une méthode mathématique est utilisée pour convertir les paires de lettres en valeurs numériques en fonction de leurs positions alphabétiques, calculer les moyennes, puis les reconvertir en lettres.
• Forces : fournit une ventilation détaillée et étape par étape du processus de décodage, traduisant avec succès le texte chiffré en «il y a trois R en fraise».

Verdict

• OpenAI O1 est plus efficace : offre une méthode en béton et logique, fournissant une solution claire.
• GPT-4O est incomplet : manque de méthode de décodage spécifique, ce qui entraîne une sortie inachevée.

Lire aussi: 3 expériences pratiques avec O1 d'Openai, vous devez voir

Sciences de la santé

Diagnostic GPT-4O: syndrome de Cornelia de Lange (CDLS)

• Raisons clés : la déficience intellectuelle, le retard de développement global, la stature courte et les caractéristiques faciales distinctes (comme les sourcils épais, le visage triangulaire, le nez bulbeux et les cheveux antérieurs faibles) sont courants dans les CDL. Des caractéristiques supplémentaires telles que la macrodonie (dents agrandies), les caractéristiques de la main anormales, les retards moteurs et de la parole et les difficultés d'alimentation soutiennent davantage ce diagnostic.
• Conditions exclues : L'absence de certaines malformations cardiaques, la déficience auditive et la microcéphalie (petite taille de la tête) correspond aux CDL et aide à exclure d'autres conditions potentielles.

Diagnostic Openai O1: syndrome de KBG

• Raisons clés : Les symptômes décrits (tels que la déficience intellectuelle, les retards de développement, la macrodonie, le visage triangulaire, les sourcils épais, les anomalies des mains et la stature courte) correspondent étroitement au syndrome de KBG. La caractéristique caractéristique de la macrodonie (en particulier des incisives centrales supérieures) et d'autres caractéristiques faciales spécifiques soutiennent fortement le syndrome de KBG.
• Conditions exclues : L'absence de malformations cardiaques spécifiques et d'autres conditions exclues, comme les troubles auditifs et la microcéphalie, s'aligne sur le syndrome de KBG, car ces caractéristiques ne sont généralement pas présentes dans le syndrome.

Verdict

• Les deux diagnostics sont plausibles , mais ils se concentrent sur différents syndromes en fonction du même ensemble de symptômes.
• GPT-4O se penche vers le syndrome de Cornelia de Lange (CDLS) en raison de la combinaison de la déficience intellectuelle, des retards de développement et de certaines caractéristiques faciales.
• OpenAI O1 suggère le syndrome de KBG car il s'adapte aux caractéristiques distinctives plus spécifiques (comme la macrodontie des incisives centrales supérieures et le profil facial global).
• Compte tenu des détails fournis, le syndrome de KBG est considéré comme plus probable , en particulier en raison de la mention spécifique de la macrodonie, une caractéristique clé de KBG.

Questions de raisonnement

Pour vérifier le raisonnement des deux modèles, j'ai posé des questions de raisonnement de niveau avancé.

Cinq étudiants, P, Q, R, S et T se tiennent dans une ligne dans un ordre et reçoivent des cookies et des biscuits à manger. Aucun élève ne reçoit le même nombre de cookies ou de biscuits. La personne d'abord dans la file d'attente obtient le moins de cookies. Le nombre de cookies ou de biscuits reçus par chaque étudiant est un nombre naturel de 1 à 9, chaque nombre apparaissant au moins une fois.

Le nombre total de cookies est deux de plus que le nombre total de biscuits distribués. R qui était au milieu de la ligne a reçu plus de goodies (cookies et biscuits réunis) que tout le monde. T reçoit 8 cookies supplémentaires que les biscuits. La personne qui est la dernière dans la file d'attente a reçu 10 articles en tout, tandis que P ne reçoit que la moitié totalement. Q est après P mais avant S dans la file d'attente. Le nombre de cookies Q reçoit est égal au nombre de biscuits que P reçoit. Q reçoit un bon de plus que S et un de moins que R. La deuxième personne dans la file d'attente reçoit un nombre impair de biscuits et un nombre impair de cookies.

Question: Who was 4th in the queue?

Answer: Q was 4th in the queue.

Also read: How Can Prompt Engineering Transform LLM Reasoning Ability?

GPT-4o Analysis

GPT-4o failed to solve the problem correctly. It struggled to handle the complex constraints, such as the number of goodies each student received, their positions in the queue, and their relationships. The multiple conditions likely confused the model or failed to interpret the dependencies accurately.

OpenAI o1 Analysis

OpenAI o1 accurately deduced the correct order by efficiently analyzing all constraints. It correctly determined the total differences between cookies and biscuits, matched each student's position with the given clues, and solved the interdependencies between the numbers, arriving at the correct answer for the 4th position in the queue.

Verdict

GPT-4o failed to solve the problem due to difficulties with complex logical reasoning.
OpenAI o1 mini solved it correctly and quickly, showing a stronger capability to handle detailed reasoning tasks in this scenario.

Coding: Creating a Game

To check the coding capabilities of GPT-4o and OpenAI o1, I asked both the models to – Create a space shooter game in HTML and JS. Also, make sure the colors you use are blue and red. Here's the result:

GPT-4O

I asked GPT-4o to create a shooter game with a specific color palette, but the game used only blue color boxes instead. The color scheme I requested wasn't applied at all.

OpenAI o1

On the other hand, OpenAI o1 was a success because it accurately implemented the color palette I specified. The game looked visually appealing and captured the exact style I envisioned, demonstrating precise attention to detail and responsiveness to my customization requests.

GPT-4o vs OpenAI o1: API and Usage Details

The API documentation reveals several key features and trade-offs:

1. Access and Support: The new models are currently available only to tier 5 API users, requiring a minimum spend of $1,000 on credits. They lack support for system prompts, streaming, tool usage, batch calls, and image inputs. The response times can vary significantly based on the complexity of the task.
2. Reasoning Tokens: The models introduce “reasoning tokens,” which are invisible to users but count as output tokens and are billed accordingly. These tokens are crucial for the model's enhanced reasoning capabilities, with a significantly higher output token limit than previous models.
3. Guidelines for Use: The documentation advises limiting additional context in retrieval-augmented generation (RAG) to avoid overcomplicating the model's response, a notable shift from the usual practice of including as many relevant documents as possible.

Also read: Here's How You Can Use GPT 4o API for Vision, Text, Image & More.

Hidden Reasoning Tokens

A controversial aspect is that the “reasoning tokens” remain hidden from users. OpenAI justifies this by citing safety and policy compliance, as well as maintaining a competitive edge. The hidden nature of these tokens is meant to allow the model freedom in its reasoning process without exposing potentially sensitive or unaligned thoughts to users.

Limitations of OpenAI o1

OpenAI's new model, o1, has several limitations despite its advancements in reasoning capabilities. Here are the key limitations:

1. Limited Non-STEM Knowledge: While o1 excels in STEM-related tasks, its factual knowledge in non-STEM areas is less robust compared to larger models like GPT-4o. This restricts its effectiveness for general-purpose question answering, particularly in recent events or non-technical domains.
2. Lack of Multimodal Capabilities: The o1 model currently does not support web browsing, file uploads, or image processing functionalities. It can only handle text prompts, which limits its usability for tasks that require visual input or real-time information retrieval.
3. Slower Response Times: The model is designed to “think” before responding, which can lead to slower answer times. Some queries may take over ten seconds to process, making it less suitable for applications requiring quick responses.
4. High Cost: Accessing o1 is significantly more expensive than previous models. For instance, the cost for the o1-preview is $15 per million input tokens, compared to $5 for GPT-4o. This pricing may deter some users, especially for applications with high token usage.
5. Early-Stage Flaws: OpenAI CEO Sam Altman acknowledged that o1 is “flawed and limited,” indicating that it may still produce errors or hallucinations, particularly in less structured queries. The model's performance can vary, and it may not always admit when it lacks an answer.
6. Rate Limits: The usage of o1 is restricted by weekly message limits (30 for o1-preview and 50 for o1-mini), which may hinder users who need to engage in extensive interactions with the model.
7. Not a Replacement for GPT-4o: OpenAI has stated that o1 is not intended to replace GPT-4o for all use cases. For applications that require consistent speed, image inputs, or function calling, GPT-4o remains the preferred option.

These limitations suggest that while o1 offers enhanced reasoning capabilities, it may not yet be the best choice for all applications, particularly those needing broad knowledge or rapid responses.

OpenAI o1 Struggles With Q&A Tasks on Recent Events and Entities

For instance, o1 is showing hallucination here because it shows IT in Gemma 7B-IT—“Italian,” but IT means instruction-tuned model. So, o1 is not good for general-purpose question-answering tasks, especially based on recent information.

Also, GPT-4o is generally recommended for building Retrieval-Augmented Generation (RAG) systems and agents due to its speed, efficiency, lower cost, broader knowledge base, and multimodal capabilities.

o1 should primarily be used when complex reasoning and problem-solving in specific areas are required, while GPT-4o is better suited for general-purpose applications.

OpenAI o1 is Better at Logical Reasoning than GPT-4o

GPT-4o is Terrible at Simple Logical Reasoning

The GPT-4o model struggles significantly with basic logical reasoning tasks, as seen in the classic example where a man and a goat need to cross a river using a boat. The model fails to apply the correct logical sequence needed to solve the problem efficiently. Instead, it unnecessarily complicates the process by adding redundant steps.

In the provided example, GPT-4o suggests:

1. Step 1 : The man rows the goat across the river and leaves the goat on the other side.
2. Step 2 : The man rows back alone to the original side of the river.
3. Step 3 : The man crosses the river again, this time by himself.

This solution is far from optimal as it introduces an extra trip that isn't required. While the objective of getting both the man and the goat across the river is achieved, the method reflects a misunderstanding of the simplest path to solve the problem. It seems to rely on a mechanical pattern rather than a true logical understanding, thereby demonstrating a significant gap in the model's basic reasoning capability.

OpenAI o1 Does Better in Logical Reasoning

In contrast, the OpenAI o1 model better understands logical reasoning. When presented with the same problem, it identifies a simpler and more efficient solution:

1. Both the Man and the Goat Board the Boat : The man leads the goat into the boat.
2. Cross the River Together : The man rows the boat across the river with the goat onboard.
3. Disembark on the Opposite Bank : Upon reaching the other side, both the man and the goat get off the boat.

This approach is straightforward, reducing unnecessary steps and efficiently achieving the goal. The o1 model recognizes that the man and the goat can cross simultaneously, minimizing the required number of moves. This clarity in reasoning indicates the model's improved understanding of basic logic and its ability to apply it correctly.

OpenAI o1 – Chain of Thought Before Answering

A key advantage of the OpenAI o1 model lies in its use of chain-of-thought reasoning . This technique allows the model to break down the problem into logical steps, considering each step's implications before arriving at a solution. Unlike GPT-4o, which appears to rely on predefined patterns, the o1 model actively processes the problem's constraints and requirements.

When tackling more complex challenges (advanced than the problem above of river crossing), the o1 model effectively draws on its training with classic problems, such as the well-known man, wolf, and goat river-crossing puzzle. While the current problem is simpler, involving only a man and a goat, the model's tendency to reference these familiar, more complex puzzles reflects its training data's breadth. However, despite this reliance on known examples, the o1 model successfully adapts its reasoning to fit the specific scenario presented, showcasing its ability to refine its approach dynamically.

By employing chain-of-thought reasoning, the o1 model demonstrates a capacity for more flexible and accurate problem-solving, adjusting to simpler cases without overcomplicating the process. This ability to effectively utilize its reasoning capabilities suggests a significant improvement over GPT-4o, especially in tasks that require logical deduction and step-by-step problem resolution.

The Final Verdict: GPT-4o vs OpenAI o1

Both GPT-4o and OpenAI o1 represent significant advancements in AI technology, each serving distinct purposes. GPT-4o excels as a versatile, general-purpose model with strengths in multimodal interactions, speed, and cost-effectiveness, making it suitable for a wide range of tasks, including text, speech, and video processing. Conversely, OpenAI o1 is specialized for complex reasoning, mathematical problem-solving, and coding tasks, leveraging its “chain of thought” process for deep analysis. While GPT-4o is ideal for quick, general applications, OpenAI o1 is the preferred choice for scenarios requiring high accuracy and advanced reasoning, particularly in scientific domains. The choice depends on task-specific needs.

Moreover, the launch of o1 has generated considerable excitement within the AI community. Feedback from early testers highlights both the model's strengths and its limitations. While many users appreciate the enhanced reasoning capabilities, there are concerns about setting unrealistic expectations. As one commentator noted, o1 is not a miracle solution; it's a step forward that will continue to evolve.

Looking ahead, the AI landscape is poised for rapid development. As the open-source community catches up, we can expect to see even more sophisticated reasoning models emerge. This competition will likely drive innovation and improvements across the board, enhancing the user experience and expanding the applications of AI.

Also read: Reasoning in Large Language Models: A Geometric Perspective

Conclusion

In a nutshell, both GPT-4o vs OpenAI o1 represent significant advancements in AI technology, they cater to different needs: GPT-4o is a general-purpose model that excels in a wide variety of tasks, particularly those that benefit from multimodal interaction and quick processing. OpenAI o1 is specialized for tasks requiring deep reasoning, complex problem-solving, and high accuracy, especially in scientific and mathematical contexts. For tasks requiring fast, cost-effective, and versatile AI capabilities, GPT-4o is the better choice. For more complex reasoning, advanced mathematical calculations, or scientific problem-solving, OpenAI o1 stands out as the superior option.

Ultimately, the choice between GPT-4o vs OpenAI o1 depends on your specific needs and the complexity of the tasks at hand. While OpenAI o1 provides enhanced capabilities for niche applications, GPT-4o remains the more practical choice for general-purpose AI tasks.

Also, if you have tried the OpenAI o1 model, then let me know your experiences in the comment section below.

Si vous voulez devenir un expert en IA génératif, explorez: Genai Pinnacle Program

Références

1. OpenAI Models
2. o1-preview and o1-mini
3. OpenAI System Card
4. Openai O1-MinI
5. OpenAI API
6. Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning

Q1. What are the main differences between GPT-4o and OpenAI o1?

Ans. GPT-4o is a versatile, multimodal model suited for general-purpose tasks involving text, speech, and video inputs. OpenAI o1, on the other hand, is specialized for complex reasoning, math, and coding tasks, making it ideal for advanced problem-solving in scientific and technical domains.

Q2. Which model(GPT-4o or OpenAI o1) is better for multilingual tasks?

Ans. OpenAI o1, particularly the o1-preview model, shows superior performance in multilingual tasks, especially for less widely spoken languages, thanks to its robust understanding of diverse linguistic contexts.

Q3. How does OpenAI o1 handle complex reasoning tasks?

Ans. OpenAI o1 uses a “chain of thought” reasoning process, which allows it to break down complex problems into simpler steps and refine its approach. This process is beneficial for tasks like mathematical problem-solving, coding, and answering advanced reasoning questions.

Q4. What are the limitations of OpenAI o1?

Ans. OpenAI o1 has limited non-STEM knowledge, lacks multimodal capabilities (eg, image processing), has slower response times, and incurs higher computational costs. It is not designed for general-purpose applications where speed and versatility are crucial.

Q5. When should I choose GPT-4o over OpenAI o1?

Ans. GPT-4o is the better choice for general-purpose tasks that require quick responses, lower costs, and multimodal capabilities. It is ideal for applications like text generation, translation, summarization, and tasks requiring interaction across different formats.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!