Mistral AI schlägt GPT-4o in Sekunden und Llama 3 70B in 22B und eröffnet sein erstes Codemodell

Mistral AI, das französische KI-Einhorn-Benchmarking gegen OpenAI, hat einen neuen Schritt gemacht: Codestral, das erste große Codemodell, war geboren.

Als offenes generatives KI-Modell, das speziell für Codegenerierungsaufgaben entwickelt wurde, unterstützt Codestral Entwickler beim Schreiben und Interagieren mit Code, indem es Anweisungen und Vervollständigungs-API-Endpunkte teilt. Die Programmier- und Englischkenntnisse von Codestral ermöglichen es Softwareentwicklern, fortschrittliche KI-Anwendungen zu entwerfen.

Codestral hat eine Parametergröße von 22B und folgt der neuen Mistral AI Non-Production License. Es kann für Forschungs- und Testzwecke verwendet werden, eine kommerzielle Nutzung ist jedoch verboten.

Derzeit steht das Modell auf HuggingFace zum Download bereit.

• Download-Adresse: https://huggingface.co/mistralai/Codestral-22B-v0.1
• Kostenlose Testadresse: https://t. co/LsgC84GCYw

Guillaume Lample, Mitbegründer und Chefwissenschaftler von Mistral AI, sagte, dass Codestral problemlos in das VS Code-Plug-in integriert werden kann.

Einige Benutzer verglichen Codestral mit GPT-4o und Codestral war direkt schneller als GPT-4o.

Kompetent in über 80 Programmiersprachen

Codestral ist auf einem vielfältigen Datensatz geschult, der über 80 Programmiersprachen enthält, darunter Python, Java, C, C++, JavaScript, Bash und andere beliebte Programmiersprachen. Es funktioniert auch gut mit Programmiersprachen wie Swift und Fortran.

So stellt eine breite Sprachbasis sicher, dass Codestral Entwickler in einer Vielzahl von Codierungsumgebungen und Projekten unterstützen kann.

Codestral kann kompetent Code schreiben, Tests schreiben und den Fill-in-the-Middle-Mechanismus verwenden, um jeden Codeteil zu vervollständigen, was Entwicklern Zeit und Energie spart. Die gleichzeitige Verwendung von Codestral kann auch dazu beitragen, die Programmierfähigkeiten der Entwickler zu verbessern und das Risiko von Fehlern und Bugs zu verringern.

Neuer Standard für die Codegenerierungsleistung

Als 22B-Parametermodell setzt Codestral im Vergleich zu früheren großen Codemodellen einen neuen Standard in Bezug auf die Codegenerierungsleistung und den Latenzspielraum.

Wie Sie in Abbildung 1 unten sehen können, beträgt die Kontextfensterlänge von Codestral 32 KB, das Konkurrenzprodukt CodeLlama 70B 4 KB, DeepSeek Coder 33B 16 KB und Llama 3 70B 8 KB. Die Ergebnisse zeigen, dass Codestral andere Modelle im Codegenerierungs-Remote-Evaluierungs-Benchmark RepoBench übertrifft.

Mistral AI verglich Codestral auch mit bestehenden codespezifischen Modellen, die höhere Hardwareanforderungen erfordern.

Leistung auf Python. Die Forscher verwendeten die bereinigten Pass@1-Benchmarks von HumanEval, um die Python-Codegenerierungsfähigkeiten von Codestral zu bewerten. Darüber hinaus verwendeten die Forscher auch die EM-Benchmark-Bewertungen CruxEval und RepoBench.

Leistung auf SQL. Um die Leistung von Codestral in SQL zu bewerten, verwendeten die Forscher den Spider-Benchmark.

Leistung bei anderen Programmiersprachen. Die Forscher bewerteten Codestral auch in sechs anderen Programmiersprachen, darunter C++, Bash, Java, PHP, Typescript und C#, und berechneten den Durchschnitt dieser Bewertungen.

FIM-Benchmark. Die Forscher bewerteten auch die Fähigkeit von Codestral, Code zu vervollständigen, wenn es Lücken in den Codefragmenten gab, und führten hauptsächlich Experimente mit Python, JavaScript und Java durch. Die Ergebnisse zeigten, dass Benutzer den von Codestral fertiggestellten Code sofort ausführen können.

Blog-Adresse: https://mistral.ai/news/codestral/

Das obige ist der detaillierte Inhalt vonMistral AI schlägt GPT-4o in Sekunden und Llama 3 70B in 22B und eröffnet sein erstes Codemodell. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!