Qui publie la recherche sur l’IA la plus marquante ? À l’heure actuelle du « laisser fleurir cent fleurs », cette question présente un grand potentiel d’exploration.
Vous avez peut-être deviné certaines conclusions : de grandes institutions telles que Google, Microsoft, OpenAI et DeepMind n'ont qu'à moitié raison pour des conclusions comme celle-ci. Il existe également d'autres informations qui nous révèlent des conclusions qui étaient initialement inconnues.
Avec le développement rapide de l'innovation en IA, il est crucial d'obtenir une certaine « intelligence » le plus rapidement possible. Après tout, peu de gens ont le temps de tout lire, mais ce qui est certain, c’est que les articles compilés dans cet article ont le potentiel de changer l’orientation de la technologie de l’intelligence artificielle.
Le véritable test de l'influence de l'équipe R&D est bien sûr la manière dont la technologie est mise en œuvre dans les produits. OpenAI a publié ChatGPT fin novembre 2022, ce qui a choqué l'ensemble du secteur. Cela fait suite à leur article de mars 2022 « Utilisation ». Human Feedback" Une autre avancée après "Former des modèles de langage à suivre des instructions avec un feedback humain".
Il est rare qu'un produit soit lancé aussi rapidement. Par conséquent, afin d’obtenir plus d’informations, les statistiques de Zeta Alpha ont récemment adopté un indicateur académique classique : Citation Count.
Une analyse détaillée des 100 articles les plus cités en 2022, 2021 et 2020 donne un aperçu des institutions et des pays qui publient actuellement les recherches les plus marquantes sur l'IA. Certaines conclusions préliminaires sont les suivantes : les États-Unis et Google dominent toujours, et DeepMind a également connu une excellente année, mais compte tenu des résultats, OpenAI est vraiment à l'avant-garde en termes d'impact produit et de recherche, et peut être adopté rapidement et largement.
Source : Zeta Alpha.
Comme le montre la figure ci-dessus, une autre conclusion importante est que la Chine se classe au deuxième rang en termes d'influence dans les citations de recherche, mais qu'il existe toujours un écart par rapport aux États-Unis, et qu'elle n'est pas aussi « à égalité » que décrit. dans de nombreux rapports, même au-delà.
À l'aide des données de la plateforme Zeta Alpha, puis combinées à une curation manuelle, cet article rassemble les articles les plus cités dans le domaine de l'intelligence artificielle en 2022, 2021 et 2020, et analyse les affiliations et les pays/régions des auteurs. . Cela permet de classer ces articles par impact R&D plutôt que par données de publication pures.
Pour créer l'analyse, nous avons d'abord collecté les articles les plus cités pour chaque année sur la plateforme Zeta Alpha, puis vérifié manuellement la première date de publication (généralement une préimpression arXiv) pour placer l'article dans la bonne année. Cette liste a ensuite été complétée par l'extraction d'articles sur l'IA très cités sur Semantic Scholar, qui a une couverture plus large et la possibilité de trier par nombre de citations. Cela découvre principalement des articles extérieurs à des éditeurs à fort impact tels que Nature, Elsevier, Springer et d'autres revues. Ensuite, le nombre de citations de chaque article sur Google Scholar a été utilisé comme mesure représentative, et les articles ont été triés selon ce nombre pour arriver dans le top 100 de l'année. Pour ces articles, nous avons utilisé GPT-3 pour extraire les auteurs, les affiliations et les pays et vérifié manuellement ces résultats (si le pays n'était pas évident dans la publication, le pays où se trouvait le siège de l'organisation a été utilisé). Si un article a des auteurs issus de plusieurs institutions, chaque institution est comptée une fois.
Après avoir lu ce classement, le patron Yann LeCun s'est dit très satisfait : « Chez Meta AI, nous privilégions la qualité plutôt que la quantité. C'est pourquoi parmi les 100 articles sur l'intelligence artificielle les plus cités en 2022, Meta AI a écrit ( ou co-écrit) 16 articles, se classant juste derrière les 22 articles de Google. Nos recherches ont un impact énorme sur la société (en plus, le classement de l'Université de New York est également très bon
Et alors). sont les principaux journaux dont nous venons de parler ?
Avant de plonger dans les chiffres, jetons un coup d’œil aux meilleurs journaux des trois dernières années. Je suis sûr que vous en reconnaîtrez quelques-uns.
1. Base de données sur la structure des protéines AlphaFold : étendre massivement la couverture structurelle de l'espace des séquences de protéines avec des modèles de haute précision
2. ColabFold : rendre le repliement des protéines accessible à tous
3, Génération hiérarchique d'images conditionnelles de texte avec CLIP Latents
4、Un ConvNet pour les années 20 20
5、PaLM : faire évoluer la modélisation du langage avec Pathways
1. Prédiction de la structure des « protéines hautement précises » avec AlphaFold》
2, "Swin Transformer : Transformateur de vision hiérarchique utilisant des fenêtres décalées"
3, "Apprendre des modèles visuels transférables à partir de la supervision du langage naturel" Sujet : CLIP, paires image-texte à grande échelle pour apprendre des représentations conjointes image-texte de manière auto-supervisée
5、《Propriétés émergentes des transformateurs de vision auto-supervisés》
1, "Une image vaut 16x16 mots : Transformers pour la reconnaissance d'images à grande échelle"
4. "Explorer les limites de l'apprentissage par transfert avec un transformateur de texte en texte unifié》
5、《Bootstrap your own latent : Une nouvelle approche de l'apprentissage auto-supervisé 》
En termes de volume total de recherche, Google s'est classé premier au cours des trois dernières années, l'Université Tsinghua, l'Université Carnegie Mellon, le MIT, l'Université Stanford et d'autres universités se sont classées en tête, tandis que Microsoft s'est classée troisième. Dans l’ensemble, les établissements universitaires produisent plus de recherches que les entreprises technologiques du secteur, et les deux géants technologiques Google et Microsoft ont également publié un grand nombre d’études au cours des trois dernières années.
En fait, la force de recherche scientifique de Google a toujours été très forte. En 2017, Google a publié l'article « Attention Is All You Need », marquant l'avènement du transformateur. À ce jour, les transformateurs constituent toujours la base architecturale de la plupart des modèles NLP et CV, y compris ChatGPT.
Le mois dernier, à l'occasion de la sortie de Bard, le PDG de Google, Sundar Pichai, a également déclaré dans une lettre ouverte : « Google AI et DeepMind promeuvent le développement de technologies de pointe. Notre projet de recherche Transformer et notre domaine 2017 Le document, ainsi que nos progrès importants dans les modèles de diffusion, sont à la base de nombreuses applications actuelles d'IA générative. Bien sûr, en tant que société à l'origine du nouveau top ChatGPT, le taux de conversion des résultats de recherche d'OpenAI au cours des trois dernières années (Conversion). Rate) a un avantage absolu. Ces dernières années, la plupart des résultats de recherche d’OpenAI ont attiré une grande attention, notamment dans le domaine des modèles linguistiques à grande échelle.
En 2020, OpenAI a publié GPT-3, un modèle de langage à grande échelle avec 175 milliards de paramètres, qui a dans une certaine mesure bouleversé les règles du jeu dans le domaine des modèles de langage car il a résolu de nombreux problèmes de modèles de langage à grande échelle. GPT-3 a déclenché un engouement pour les modèles linguistiques à grande échelle. Depuis plusieurs années, l'échelle des paramètres des modèles de langage a été continuellement brisée et les gens ont exploré davantage le potentiel des modèles de langage à grande échelle.
Fin 2022, ChatGPT est sorti, qui a attiré une grande attention sur la génération de texte et les systèmes de dialogue IA. En particulier, ChatGPT a montré de très grandes capacités en matière de génération de contenu basé sur les connaissances et de génération de code. Après que Google et Microsoft ont successivement annoncé l'intégration de fonctions de type ChatGPT dans le moteur de recherche de nouvelle génération, ChatGPT est censé mener une nouvelle révolution dans l'AIGC et les outils intelligents.
Enfin, jetons un œil aux 100 articles les plus cités en 2022
Ajouté recommandations ici spéciales Nombre de mentions, qui est parfois considéré un premier indicateur d’impact. Mais jusqu’à présent, la corrélation semble faible. Des travaux supplémentaires sont nécessaires.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
utilisation de l'instruction switch
Classement des prestataires de services CDN étrangers
Quels sont les espaces sans inscription en Chine ?
Qu'est-ce que ^quxjg$c
Comment résoudre le problème selon lequel document.cookie ne peut pas être obtenu
Comment fermer le démarrage sécurisé
Que signifie STO dans la blockchain ?
La solution au paramètre d'interface chinoise de vscode ne prend pas effet
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
