Präzisionsscharfschütze Llama 3.1? Mistral AI Open Source Large 2, 123B ist vergleichbar mit Llama 405B

Der

KI-Wettlauf beschleunigt sich wie nie zuvor, und nachdem Meta gestern sein neues Open-Source-Modell Llama 3.1 auf den Markt gebracht hat, hat sich das französische KI-Startup Mistral AI dem Kampf angeschlossen.

Gerade hat Mistral AI die nächste Generation seines Flaggschiff-Open-Source-Modells angekündigt: Mistral Large 2, das über 123 Milliarden Parameter verfügt und in Bezug auf Codegenerierung, Mathematik, Argumentation und mehr.

Nach der Veröffentlichung von Llama 3.1 405B hat die Veröffentlichung von Mistral Large 2 die Spur der großen Open-Source-Modelle plötzlich lebendig gemacht, und das Merkmal dieses Modells ist „groß genug“.

Insbesondere: Obwohl die Anzahl der Parameter von Mistral Large 2 geringer ist als die von Llama 3.1 mit 405 Milliarden, ist die Leistung der beiden ähnlich. Und es ist in mehreren Benchmarks mit GPT-4o und Anthropics Claude 3.5 Sonnet vergleichbar.

Im Februar dieses Jahres brachte Mistral AI das ursprüngliche große Modell auf den Markt, dessen Kontextfenster 32.000 Token enthielt. Die neue Version des Modells basiert auf dieser Basis und verfügt über ein größeres Kontextfenster von 128.000 (ungefähr gleichwertig). ein Buch) 300-seitiges Buch) – Passend zu OpenAIs GPT-4o und GPT-4o mini und Metas Llama 3.1.

Derzeit unterstützt Mistral Large 2 Dutzende Sprachen, darunter Französisch, Deutsch, Spanisch, Italienisch, Portugiesisch, Arabisch, Hindi, Russisch, Chinesisch, Japanisch und Koreanisch, sowie mehr als 80 Programmiersprachen, darunter Python, Java, C, C++, JavaScript und Bash.

Mistral AI weist darauf hin, dass neue Modelle weiterhin die Grenzen von Kosteneffizienz, Geschwindigkeit und Leistung verschieben und Benutzern gleichzeitig neue Funktionen bieten, einschließlich erweiterter Funktionsaufrufe und -abrufe, um leistungsstarke KI-Anwendungen zu erstellen.

Es ist jedoch zu beachten, dass Mistral Large 2 zwar geöffnet ist, jedoch auf Forschungszwecke und nichtkommerzielle Nutzung beschränkt ist. Es bietet offene Gewichte, sodass Dritte das Modell entsprechend ihren Bedürfnissen optimieren können. Diese Vereinbarung stellt eine wichtige Einschränkung der Nutzungsbedingungen des Nutzers dar. Für die kommerzielle Nutzung, die den Eigeneinsatz von Mistral Large 2 erfordert, muss im Voraus eine kommerzielle Mistral AI-Lizenz erworben werden.

Leistung

Bei mehreren Bewertungsindikatoren hat Mistral Large 2 neue Maßstäbe in Bezug auf Leistung und Servicekosten gesetzt. Insbesondere auf MMLU erreichte die vorab trainierte Version eine Genauigkeit von 84,0 %.

Code und Argumentation

Mistral AI hat Mistral Large 2 auf der Grundlage früherer Erfahrungen mit Codestral 22B und Codestral Mamba auf einem großen Teil des Codes trainiert.

Mistral Large 2 schneidet weitaus besser ab als die Vorgängergeneration Mistral Large und liegt auf Augenhöhe mit Topmodellen wie GPT-4o, Claude 3 Opus und Llama 3 405B.

Mistral AI hat auch große Anstrengungen unternommen, um die Argumentationsfähigkeiten des Modells zu verbessern. Einer der wichtigsten Punkte besteht darin, die Tendenz des Modells zu minimieren, „Halluzinationen“ zu erzeugen oder Informationen zu produzieren, die vernünftig erscheinen, aber tatsächlich falsch sind irrelevant. Dies wird durch eine Feinabstimmung des Modells erreicht, das in seinen Reaktionen vorsichtiger und schärfer ist und so sicherstellt, dass es zuverlässige und genaue Ergebnisse liefert.

Darüber hinaus gibt Mistral Large 2 zu, wenn es keine Lösung findet oder nicht über genügend Informationen verfügt, um eine sichere Antwort zu geben. Dieses Streben nach Genauigkeit spiegelt sich in einer verbesserten Modellleistung bei mathematischen Benchmarks wider. Die folgende Grafik zeigt die verbesserten Argumentations- und Problemlösungsfähigkeiten:                                        Die Modelle werden alle einem Benchmarking unterzogen derselbe Bewertungsprozess). Leistungsgenauigkeit auf MultiPL-E (mit Ausnahme von Papiermodellen werden alle Modelle durch denselben Bewertungsprozess bewertet).

                          Leistungsgenauigkeit bei den Generationsbenchmarks GSM8K (8 Schuss) und MATH (0 Schuss, kein CoT) (alle Modelle werden durch denselben Bewertungsprozess bewertet).

Anweisungen zum Befolgen und Ausrichten

Mistral AI has greatly improved Mistral Large 2’s command following and conversation capabilities. The new Mistral Large 2 is particularly good at following precise instructions and handling long, multi-turn conversations. T The following is its performance in the MT-Bench, Wild Bench, and Arena Hard benchmark test:

The performance of the model in the universal alignment test (all models are tested by the same evaluation PIPELINE) In some benchmarks, generating longer answers tends to improve ratings. However, in many commercial applications, simplicity is crucial because concise model generation speeds up interactions and reduces the cost of inference.

So Mistral AI puts a lot of effort into making sure the content it generates is as concise and concise as possible.

The following figure shows the average length of responses generated by different models on the MT Bench benchmark question:

Language Diversity

A large number of commercial application scenarios today involve processing multi-language documents. Mistral Large 2 was trained on large amounts of multilingual data, specifically in English, French, German, Spanish, Italian, Portuguese, Dutch, Russian, Chinese, Japanese, Korean, Arabic and Hindi. Excellent performance.

The following are the performance results of Mistral Large 2 in the multi-language MMLU benchmark, mainly compared with the previous Mistral Large, Llama 3.1 model and Cohere’s Command R+:

                                                         Language MMLU performance (measured with base pre-trained model)

Tool usage and function calling

Mistral Large 2 is equipped with enhanced function calling and retrieval skills, and is trained to skillfully perform parallel and sequential function calls, making It can be a powerful engine for complex business applications.

The picture below shows the accuracy comparison of Mistral Large 2 with other mainstream models in terms of function calls:

Try Mistral Large 2

Users can use Mistral Large 2 on la Plateforme, named mistral-large -2407 and tested on le Chat. Its version is 24.07 (Mistral uses the YY.MM version numbering system for all models), and the API name is mistral-large-2407.

The weights for the instruction model are provided, hosted on HuggingFace.

Weight link: https://huggingface.co/mistralai/Mistral-Large-Instruct-2407

Mistral AI is integrating the products on la Plateforme into two general models:

Mistral Nemo

and Mistral Large, as well as two Professional models: Codestral and Embed. As they phase out older models a la Plateforme, all Apache models (including Mistral 7B, Mixtral 8x7B and 8x22B, Codestral Mamba, Mathstral) can still be deployed and deployed using Mistral AI's SDKs - mistral-inference and mistral-finetune Fine tune. Starting today, they’ve expanded the fine-tuning features a la Plateforme: now they work on Mistral Large, Mistral Nemo and Codestral.

In addition, Mistral AI has cooperation with cloud service providers, and Mistral Large 2 will soon be available on these platforms. Mistral AI has expanded its partnership with Google Cloud Platform to bring Mistral AI’s models to Vertex AI via the Managed API. In the meantime, it can also be found on Amazon Bedrock, Azure AI Studio, and IBM watsonx.ai.

Reference link:

https://mistral.ai/news/mistral-large-2407/

https://venturebeat.com/ai/mistral- shocks-with-new-open-model-mistral-large-2-taking-on-llama-3-1/

https://techcrunch.com/2024/07/24/mistral-releases- large-2-meta-openai-ai-models/

Das obige ist der detaillierte Inhalt vonPräzisionsscharfschütze Llama 3.1? Mistral AI Open Source Large 2, 123B ist vergleichbar mit Llama 405B. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!