LLaMa 3 pourrait être reporté à juillet, ciblant GPT-4 et tirant les leçons de Gemini

Les anciens modèles de génération d’images ont souvent été critiqués pour avoir présenté des images représentant principalement des personnes blanches, et le modèle Gemini de Google est tombé en difficulté en raison d’une extrême surpuissance. Les résultats d’image générés sont devenus trop prudents et s’écartent considérablement des faits historiques, surprenant les utilisateurs. Google affirme que le modèle est plus discret que prévu par les développeurs. Cette prudence se reflète non seulement dans les images générées, mais aussi dans le fait que certaines invites sont souvent considérées comme sensibles et refusent donc de fournir des réponses.

Alors que ce problème continue d'attirer l'attention, trouver un équilibre entre sécurité et convivialité est devenu un énorme défi pour Meta. LLaMA 2 est considéré comme un « acteur fort » dans le domaine de l'open source et est également devenu le modèle star de Meta. Il a changé la donne des grands modèles une fois lancé. Actuellement, Meta se prépare pleinement au lancement de LLaMa 3, mais doit d'abord résoudre les problèmes laissés par LLaMA 2 : il semble trop conservateur dans ses réponses aux questions controversées.

Trouver un équilibre entre sécurité et convivialité

Meta a ajouté des garanties dans Llama 2 pour empêcher LLM de répondre à diverses questions controversées. Bien que ce conservatisme soit nécessaire pour traiter des cas extrêmes, tels que les requêtes liées à la violence ou aux activités illégales, il limite également la capacité du modèle à répondre à des questions plus courantes mais légèrement controversées. Selon The Information, lorsqu'il a demandé à LLaMA 2 comment les employés pouvaient éviter de se rendre au bureau les jours où ils sont tenus de venir au bureau, on lui a refusé des conseils ou on lui a répondu qu'« il est important de respecter et de se conformer aux politiques de l'entreprise ». et des lignes directrices." ». LLaMA 2 refuse également de fournir des réponses sur la façon de faire des farces à vos amis, de gagner une guerre ou de détruire un moteur de voiture. Cette réponse conservatrice vise à éviter un désastre en matière de relations publiques.

Cependant, il a été révélé que la haute direction de Meta et certains chercheurs impliqués dans le travail de modélisation pensaient que les réponses de LLaMA 2 étaient trop « sûres ». Meta s'efforce de rendre le prochain modèle LLaMA 3 plus flexible et de fournir plus d'informations contextuelles lors de la fourniture de réponses, plutôt que de rejeter catégoriquement les réponses. Les chercheurs tentent de rendre LLaMA 3 plus interactif avec les utilisateurs et de mieux comprendre ce qu'ils pourraient signifier. Il est rapporté que la nouvelle version du modèle sera mieux à même de distinguer les multiples significations d'un mot. Par exemple, LLaMA 3 pourrait comprendre qu'une question sur la façon de détruire le moteur d'une voiture fait référence à la façon de l'arrêter, et non de le détruire. Meta prévoit également de nommer une personne interne pour gérer la formation sur le ton et la sécurité dans les semaines à venir, rapporte The Information, dans le cadre des efforts de l'entreprise pour rendre les réponses des modèles plus nuancées.

Le défi que Meta et Google doivent surmonter n'est pas seulement de trouver ce point d'équilibre, de nombreux géants de la technologie ont également été touchés à des degrés divers. Ils doivent travailler dur pour créer des produits que tout le monde aime, peut utiliser et fonctionner sans problème, tout en garantissant que ces produits sont sûrs et fiables. Il s’agit d’un problème auquel les entreprises technologiques doivent faire face de front alors qu’elles rattrapent leur retard sur la technologie de l’IA. Plus d'informations sur

LLaMa 3

La sortie de LLaMa 3 est très attendue, Meta prévoyant de le sortir en juillet, mais le calendrier pourrait encore changer. Le PDG de Meta, Mark Zuckerberg, est ambitieux et a déclaré un jour : « Bien que Llama 2 ne soit pas un modèle leader de l'industrie, c'est le meilleur modèle open source. Pour LLaMa 3 et les modèles suivants, notre objectif est de construire SOTA et est finalement devenu le modèle de l'industrie. modèle leader 》

Adresse originale : https://www.reuters.com/technology/meta-plans-launch-new-ai-lingual-model-llama-3 -july-information-reports-2024 -02-28/

Meta J'espère que LLaMa 3 pourra rattraper le GPT-4 d'OpenAI. Le personnel de la société Meta a révélé qu'il n'a pas encore été décidé si LLaMa 3 sera multimodal et s'il sera capable de comprendre et de générer du texte et des images, car les chercheurs n'ont pas encore commencé à peaufiner le modèle. Cependant, LLaMa devrait disposer de plus de 14 milliards de paramètres, ce qui dépassera largement LLaMa 2 et annoncera une amélioration significative de sa capacité à gérer des requêtes complexes.

Au-delà des 350 000 H100 et des dizaines de milliards de dollars pouvant être gérés, le talent est aussi une « nécessité » pour la formation LLaMa 3. Meta développe LLaMa via son groupe d'IA générative, distinct de son équipe de recherche fondamentale en IA. Louis Martin, le chercheur responsable de la sécurité des LLaMa 2 et 3, a quitté l'entreprise en février. Kevin Stone, qui dirigeait l'apprentissage par renforcement, a également quitté ce mois-ci. On ne sait pas si cela aura un impact sur la formation LLaMa 3. Nous attendrons de voir si LLaMa 3 peut trouver un bon équilibre entre sécurité et convivialité et nous réserver de nouvelles surprises en termes de capacités de codage.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!