Premier système d'IA de découverte scientifique entièrement automatisé, la startup auteur de Transformer, Sakana AI, lance AI Scientist

Éditeur | ScienceAI

Il y a un an, Llion Jones, le dernier auteur de l'article Transformer de Google, a quitté son entreprise pour créer une entreprise et a cofondé la société d'intelligence artificielle Sakana AI avec l'ancien chercheur de Google, David Ha. Sakana AI prétend créer un nouveau modèle fondamental basé sur une intelligence inspirée de la nature !

Maintenant, Sakana AI a remis sa feuille de réponses.

Sakana AI annonce le lancement d'AI Scientist, le premier système d'IA au monde pour la recherche scientifique automatisée et la découverte ouverte !

De la conception, l'écriture de code, la réalisation d'expériences et la synthèse des résultats, à la rédaction d'articles entiers et à la réalisation d'examens par les pairs, les scientifiques de l'IA ouvrent la voie à une nouvelle ère de recherche scientifique basée sur l'IA et de découverte accélérée.

En principe, il peut répéter continuellement le processus de recherche scientifique, en développant des idées de manière itérative et ouverte, tout comme les scientifiques humains.

Les chercheurs ont démontré sa polyvalence en l'appliquant à trois sous-domaines différents de l'apprentissage automatique : la modélisation de diffusion, la modélisation du langage basée sur Transformer et la dynamique d'apprentissage.

Chaque idée sera mise en œuvre et développée dans un article complet pour moins de 15 $ par article. Pour évaluer les articles générés, les chercheurs ont conçu et validé un évaluateur automatisé doté de performances quasi humaines dans l'évaluation des notes des articles.

AI Scientist peut rédiger des articles qui dépassent le seuil d'acceptation des meilleures conférences sur l'apprentissage automatique.

Le lancement d'AI Scientist marque une étape importante vers la réalisation du plein potentiel de l'intelligence artificielle dans la recherche scientifique. En automatisant le processus de découverte et en intégrant des systèmes d’examen basés sur l’IA, il ouvre la porte à des possibilités infinies d’innovation et de résolution de problèmes dans les domaines scientifiques et technologiques les plus difficiles.

Une recherche pertinente intitulée « The AI ​​​​Scientist : Towards Fully Automated Open-Ended Scientific Discovery » a été publiée sur la plateforme de prépublication arXiv le 12 août.

Lien papier : https://arxiv.org/abs/2408.06292

L'un des défis auxquels est confrontée l'intelligence artificielle est de développer des agents capables de mener des recherches scientifiques et de découvrir de nouvelles connaissances. Bien que les modèles de pointe aient été utilisés comme outils auxiliaires par les scientifiques humains, comme le brainstorming d’idées, l’écriture de code ou l’exécution de tâches prédictives, ils ne complètent encore qu’une petite partie du processus scientifique.

Dans leurs dernières recherches, les scientifiques de Sakana AI proposent le premier cadre complet de découverte scientifique entièrement automatisée, permettant à des modèles linguistiques de pointe à grande échelle de mener des recherches de manière indépendante et de communiquer leurs résultats.

AI Scientist peut générer de nouvelles idées de recherche, écrire du code, réaliser des expériences, visualiser les résultats, décrire leurs conclusions en écrivant un article scientifique complet, puis exécuter un processus d'examen simulé pour évaluation.

À propos d'AI Scientist

AI Scientist comporte trois étapes principales : (1) la génération d'idées, (2) l'itération expérimentale, (3) la rédaction d'un article. Une fois rédigés, les chercheurs introduisent et valident les critiques générées par le LLM pour évaluer la qualité de l'article résultant.

Illustration : Illustration du concept du processus de découverte scientifique de bout en bout basé sur le LLM. (Source : article)

Les chercheurs fournissent aux scientifiques de l'IA un modèle de code de départ qui reproduit des séries d'entraînement de base légères de modèles ou de références populaires. Par exemple, il peut s'agir d'un code permettant de former un petit transformateur sur Shakespeare, une formation classique de validation de principe exécutée en traitement du langage naturel qui peut être complétée en quelques minutes.

Ensuite, les scientifiques de l’IA sont libres d’explorer toutes les directions de recherche possibles. Le modèle comprend également un dossier LaTeX contenant des fichiers de style et des en-têtes de section ainsi qu'un code de traçage simple. En règle générale, chaque série commence par une expérience représentative à petite échelle pertinente au domaine thématique.

Les chercheurs ont expliqué : « Se concentrer sur des expériences à petite échelle n'est pas une limitation fondamentale de notre méthode, mais simplement une question d'efficacité informatique et des limites informatiques de notre équipement. 

Pourquoi la rédaction d'un article est-elle importante ?

Étant donné que l'objectif général des scientifiques est d'automatiser la découverte scientifique, pourquoi les chercheurs voudraient-ils que les scientifiques de l'IA rédigent des articles comme les scientifiques humains ? Par exemple, les systèmes d’IA précédents tels que FunSearch et GNoME produisaient autrefois des découvertes scientifiques impressionnantes dans des domaines restreints, mais ils n’étaient pas capables de rédiger des articles.

Das Team ist davon überzeugt, dass es für KI-Wissenschaftler aus folgenden Gründen von entscheidender Bedeutung ist, wissenschaftliche Arbeiten zu verfassen, um ihre Erkenntnisse zu verbreiten: Erstens bietet das Schreiben von Arbeiten den Menschen eine gut interpretierbare Möglichkeit, von dem zu profitieren, was sie gelernt haben; Der Rahmen bestehender Konferenzen zum maschinellen Lernen ermöglicht es Wissenschaftlern, Bewertungen zu standardisieren. Drittens sind wissenschaftliche Arbeiten seit der Geburt der modernen Wissenschaft das Hauptmedium für die Verbreitung von Forschungsergebnissen.

Da das Papier natürliche Sprache verwenden und Diagramme und Codes enthalten kann, kann es flexibel jede Art von wissenschaftlicher Forschung und Erkenntnissen beschreiben. Fast jedes andere vorstellbare Format ist an ein Daten- oder wissenschaftliches Genre gebunden. Bis eine überlegene Alternative auftaucht (oder möglicherweise durch künstliche Intelligenz erfunden wird), ist das Team davon überzeugt, dass die Ausbildung von KI-Wissenschaftlern zum Verfassen wissenschaftlicher Arbeiten für ihre Integration in die breitere wissenschaftliche Gemeinschaft von entscheidender Bedeutung ist.

Abbildung: Vorschau auf das völlig unabhängig von AI Scientist erstellte Paper „Adaptive Dual-Scale Denoising“. (Quelle: Papier)

Über die Kosten

Der Rahmen hier ist flexibel genug, um effizient Forschung in verschiedenen Teilbereichen des maschinellen Lernens durchzuführen, einschließlich transformatorbasierter Sprachmodellierung, Lerndynamik neuronaler Netze und Diffusionsmodellierung. Das System ist äußerst kosteneffektiv, kostet etwa 15 US-Dollar pro Beitrag und produziert konferenzrelevante Beiträge, was seine Fähigkeit unterstreicht, die Forschung zu demokratisieren (ihre Zugänglichkeit zu erhöhen) und den wissenschaftlichen Fortschritt zu beschleunigen.

Zum Beispiel legt die vorläufige qualitative Analyse der Forscher von AI Scientist nahe, dass die resultierenden Arbeiten weitgehend informativ und neuartig sein können oder zumindest Ideen enthalten, die einer zukünftigen Forschung würdig sind.

Der tatsächliche Rechenaufwand, den das Team den KI-Wissenschaftlern für Experimente zuweist, ist nach aktuellen Maßstäben ebenfalls sehr gering. Bemerkenswert ist, dass die meisten Experimente der Forscher, die in einer Woche Hunderte von Arbeiten hervorbrachten, nur mit einem einzigen 8×NVIDIA H100-Knoten durchgeführt wurden. Wenn der Such- und Filterumfang in großem Umfang erweitert würde, könnten qualitativ hochwertigere Arbeiten erstellt werden.

In diesem Projekt entfielen die meisten Kosten für den Betrieb von AI Scientist auf die Kosten für die LLM-API-Codierung und das Verfassen von Papieren. Im Vergleich dazu waren die mit dem Betrieb des LLM-Reviewers verbundenen Kosten und der Rechenaufwand für die Durchführung der Experimente aufgrund der vom Team auferlegten Einschränkungen zur Reduzierung der Gesamtkosten vernachlässigbar.

Natürlich kann sich diese Kostenbeteiligung in Zukunft ändern, wenn KI-Wissenschaftler in anderen wissenschaftlichen Bereichen eingesetzt oder in größeren Computerexperimenten eingesetzt werden.

Offenes vs. geschlossenes Modell

Um die generierten Arbeiten quantitativ auszuwerten und zu optimieren, haben die Forscher zunächst einen automatisierten Papierprüfer erstellt und validiert. Die Ergebnisse zeigen, dass LLM zwar noch viel Raum für Optimierungen gibt, aber in der Lage ist, ziemlich genaue Bewertungen zu erstellen und bei verschiedenen Kennzahlen mit Menschen vergleichbare Ergebnisse zu erzielen.

Grafik: Das Violindiagramm zeigt die Verteilung der Bewertungen für von AI Scientist-Rezensenten erstellte Arbeiten in drei Bereichen und vier Basismodellen. (Quelle: Paper)

Durch die Anwendung dieses Gutachters auf von AI Scientist erstellte Arbeiten können Wissenschaftler die Bewertung von Arbeiten über die menschliche Begutachtung hinaus erweitern. Die Forscher fanden heraus, dass Sonnet 3.5 durchweg die besten Arbeiten hervorbrachte, von denen einige sogar die Akzeptanzschwelle automatisierter Papierprüfer auf Standardkonferenzen für maschinelles Lernen übertrafen.

Allerdings hat das Team keinen Grund zu der Annahme, dass AI Scientist seinen Vorsprung mit einem einzigen Modell wie Sonnet 3.5 behaupten kann. Forscher glauben, dass sich alle hochmodernen LLMs, einschließlich offener Modelle, weiter verbessern werden. Der Wettbewerb zwischen LLMs wird ihre Kommerzialisierung und Fähigkeiten erheblich steigern.

Abbildung: Auswertung des Paper-Review-Prozesses von AI Scientist zu ICLR 2022 OpenReview-Daten mit GPT-4o. (Quelle: Paper)

In diesem Projekt untersuchten die Forscher eine Vielzahl proprietärer LLMs, darunter GPT-4o und Sonnet, untersuchten aber auch die Verwendung offener Modelle wie DeepSeek und Llama-3. Es wurde festgestellt, dass das offene Modell erhebliche Vorteile wie geringere Kosten, garantierte Verfügbarkeit, größere Transparenz und größere Flexibilität bietet, allerdings bei etwas geringerer Qualität.

In Zukunft wollen die Forscher den vorgeschlagenen Entdeckungsprozess nutzen, um mithilfe offener Modelle selbstverbessernde künstliche Intelligenz in geschlossenen Systemen zu erzeugen.

Zukünftige Richtungen

Unmittelbare Verbesserungen an AI Scientist können die Integration visueller Funktionen zur besseren Handhabung von Diagrammen und Grafiken, die Einbeziehung von menschlichem Feedback und Interaktion zur Verbesserung der KI-Ausgabe sowie die Möglichkeit umfassen, dass AI Scientist Daten aus dem Internet extrahieren kann, neue Daten und Modelle können den Umfang ihrer Experimente automatisch erweitern, sofern dies sicher ist.

De plus, les scientifiques en IA peuvent donner suite à leurs meilleures idées et même travailler directement sur leur propre code de manière autoréférentielle. En fait, la majeure partie du code du projet a été écrite par Aider. L’élargissement du cadre à d’autres domaines scientifiques pourrait encore accroître son impact, ouvrant la voie à une nouvelle ère de découverte scientifique automatisée.

Essentiellement, les travaux futurs devraient résoudre les problèmes de fiabilité et d’hallucinations, éventuellement grâce à une validation automatisée plus approfondie des résultats rapportés. Cela peut être réalisé en reliant directement le code et les expériences, ou en voyant si un vérificateur automatisé peut reproduire les résultats de manière indépendante.

Epilogue

AI Scientist marque le début d'une nouvelle ère de découverte scientifique dans le domaine de l'apprentissage automatique : intégrer les avantages transformateurs des agents d'IA dans l'ensemble du processus de recherche de l'IA elle-même et rapprocher les scientifiques d'un monde capable de libérer des possibilités illimitées. et abordable Un monde où la créativité et l'innovation viennent résoudre les problèmes les plus difficiles du monde.

En fin de compte, « Nous envisageons un écosystème scientifique entièrement alimenté par l’IA, comprenant non seulement des chercheurs axés sur l’IA, mais également des évaluateurs, des chaires de recherche et des conférences entières. Cependant, nous ne pensons pas que le rôle des scientifiques humains s’affaiblira à mesure que nous le ferons. s'adapter aux nouvelles technologies et progresser dans la chaîne alimentaire, le rôle des scientifiques va changer", affirment les chercheurs dans l'article.

Alors que les itérations actuelles d'AI Scientist démontrent une forte capacité à innover en s'appuyant sur des idées éprouvées (telles que la modélisation de diffusion ou les transformateurs), la question de savoir si de tels systèmes seront finalement capables de proposer des idées véritablement révolutionnaires reste une question ouverte.

Les futures versions d'AI Scientists seront-elles capables de proposer des idées aussi percutantes que la modélisation de diffusion, ou de proposer la prochaine architecture Transformer ? Les machines seront-elles un jour capables d’inventer des concepts aussi fondamentaux que les réseaux de neurones artificiels ou la théorie de l’information ?

"Nous pensons qu'AI Scientist sera un excellent partenaire pour les scientifiques humains, mais seul le temps nous le dira." :

https://arxiv.org/abs/2408.06292

Contenu de référence :

http://sakana.ai/ai-scientist/

https://x.com/SakanaAILabs/status/ 1823178623513239992

https://mp.weixin.qq.com/s/-jjXBJAkdMEyl2JhRgwdaA

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!