Actuellement, de plus en plus d'utilisateurs de vidéos courtes espèrent non seulement utiliser leur temps fragmenté pour les loisirs et le divertissement, mais commencent également à espérer acquérir plus de connaissances sur la plateforme de vidéos courtes. En 2021, le volume de lecture de contenu pan-knowledge de Kuaishou a augmenté de 58,11 % d'une année sur l'autre, et la plateforme a enregistré plus de 33 millions de diffusions en direct pan-knowledge tout au long de l'année [1]. Afin de mieux comprendre et organiser les vidéos pan-connaissances, Kuaishou MMU s'est associé à l'Institut de technologie de Harbin et à d'autres pour proposer la première encyclopédie vidéo courte multimodale du secteur - "Kuaipedia": utilisant la technologie multimodale et de graphe de connaissances pour extraire des informations. à partir de courtes vidéos massives extrait des vidéos de connaissances à grande échelle et de haute qualité et les structure pour former une base de connaissances systématique encyclopédie vidéo courte , offrant aux utilisateurs une meilleure expérience d'acquisition de connaissances et inspirant les créateurs Créer de haute -un contenu de connaissances de qualité et construire un écosystème de partage de connaissances sain.
Lien papier : https://www.php.cn/link/b0da9d8dd88178e3bb138e08742eb2e2
Page d'accueil du projet : https://www.php.cn/link/1a725948eb0c738707b5c026a65ba618
de courtes vidéos massives et performer. Il a une structure structurée et a construit un système d'encyclopédie vidéo avec des dizaines de millions d'entrées et de points de connaissances. La proposition de « Kuaipedia » aide la communauté universitaire à promouvoir l'IA pour comprendre la connaissance du monde grâce à l'information multimodale, et elle offre un grand espace d'imagination pour sa mise en œuvre dans l'industrie.
L'Encyclopédie, dont l'origine remonte à la Grèce et à Rome, est également une réalisation exceptionnelle des Lumières françaises aux XVIIe et XVIIIe siècles. L'encyclopédie des connaissances fait généralement référence à un ouvrage de référence ou à un recueil qui présente brièvement toutes les connaissances humaines ou un domaine ou un sujet spécifique. Avec le développement rapide d'Internet, l'encyclopédie en ligne est devenue un nouveau support de connaissances, comme Wikipédia, l'encyclopédie Baidu, etc. Cependant, ces encyclopédies utilisent généralement des images, des textes et des tableaux comme supports, ce qui rend difficile l'expression de certaines connaissances qui nécessitent une démonstration vivante, comme les connaissances didactiques (Comment faire). La figure 1 montre le dilemme lié à l'utilisation d'images et de textes pour transmettre la connaissance du "Shiba Inu" - "comment dessiner". Grâce à de courtes vidéos, nous pouvons très bien expliquer et apprendre ces connaissances.
Pour des vidéos spécifiques, voir https://www.php.cn/link/70e9dbe24ba303f2d25ac34d3ae945c5 .
Image 1 : Le dilemme du transfert de connaissances dans la procédure à suivre avec des images et du texte, les images et le texte proviennent de captures d'écran de courtes vidéos
Avec l'itération continue de l'industrie du contenu et des formes médiatiques, les courtes vidéos deviennent de plus en plus le principal moyen de diffusion des connaissances, en particulier dans la diffusion des connaissances sur certaines compétences et expertises. présente certains avantages. De nos jours, bien qu'il existe des encyclopédies publiques en ligne avec du contenu vidéo, elles se présentent généralement sous la forme de brèves introductions (telles que l'Encyclopedia of Instant Understanding), et les courtes vidéos ne sont pas utilisées dans la plus grande mesure. Par conséquent, la capacité expressive des courtes vidéos est utilisée. les encyclopédies du savoir ont été gravement sous-estimées. Par exemple, lorsque les gens parlent de « Shiba Inu », en plus de « l'introduction », les gens font également attention à « comment choisir », « comment se coiffer », « comment corriger la protection alimentaire », etc. Par conséquent, nous pensons que structurer de courtes vidéos basées sur les connaissances dans une courte encyclopédie vidéo structurée est un moyen efficace de comprendre les connaissances du monde et d’aider les humains à diffuser les connaissances plus efficacement.
Norme nationale de référenceConnaissances scientifiques populaires # 🎜🎜#, la catégorie compétence (Comment) se résume à Tutorial Knowledge# 🎜🎜#, découvrez des vidéos de connaissances de haute qualité à partir des énormes vidéos de Kuaishou. De plus, nous utilisons l'essentiel des connaissances extraites de la courte vidéo comme entrée # 🎜🎜# Présenté sous la forme de (comme Shiba Inu), et extraire les points de connaissance# 🎜 expliqué dans la vidéo 🎜# (comme Shiba Inu-Selection, Shiba Inu-Food Care Correction, etc.) constitue en fin de compte un court système de connaissances encyclopédique vidéo, comme le montre la figure 2.
Figure 2 : Connaissance rapide - aperçu de l'encyclopédie vidéo courte multimodale
La proposition de "Kuaipedia" a les contributions suivantes :
#🎜🎜 ##🎜🎜 #La définition de "Quick Knowledge"
: Nous avons été les pionniers de la définition Un tout nouveau multi -encyclopédie des connaissances modales, composée d'entrées, de points de connaissances, de courtes vidéos basées sur les connaissances et des relations entre elles. Il s'agit de la première encyclopédie vidéo courte, multimodale et structurée du secteur. Comment créer une encyclopédie vidéo courte à grande échelle
#🎜 🎜# : Nous proposons d'utiliser une combinaison de reconnaissance vidéo de connaissances, d'exploration de points de connaissances d'entrée et de liens de connaissances multimodaux pour créer une courte encyclopédie vidéo à grande échelle. Et a été le pionnier de la tâche de « liaison de connaissances multimodales » en tant qu'extension et extension de la liaison d'entités traditionnelle. Des applications pleines de potentiel et d'imagination
#🎜🎜 #: En termes académiques, "Kuaizhi" utilise une toute nouvelle forme d'organisation vidéo courte des points de connaissance, qui peut dépasser la limite supérieure de la capacité de la machine actuelle à comprendre la connaissance du monde uniquement en s'appuyant sur des graphiques de connaissances graphiques (KG ). Dans certaines tâches en aval de KG, il présente un grand potentiel pour les tâches en aval telles que la liaison d'entités, la classification d'entités ou la compréhension de contenu telle que la PNL et le CV. Dans l'industrie, des formulaires tels que « Kuaizhi » peuvent aider les plateformes de vidéos courtes à fonctionner efficacement, à organiser le contenu et à améliorer la compréhension des utilisateurs en matière de connaissances et d'efficacité de la consommation.
Aperçu technique#🎜 🎜 #Afin d'obtenir la courte structure d'encyclopédie vidéo ci-dessus, la technologie de base comprend les trois étapes principales suivantes, comme le montre la figure 3.
Reconnaissance vidéo de connaissances : #🎜 🎜#Comprendre et identifier les vidéos basées sur les connaissances dans des vidéos massives grâce à des modèles de pré-formation vidéo multimodaux
; Exploration d'entrées et de points de connaissance : Fusion via une base de connaissances multi-sources" "De haut en bas" construit le système d'entrée, puis "de bas en haut" construit la relation entre les entrées et les points de connaissance en exploitant les requêtes de recherche des utilisateurs pour former un arbre de points de connaissance d'entrée ； # 🎜🎜# Lien de connaissances multimodal : Innovation Il étend de manière créative la tâche traditionnelle de « liaison d'entités » et propose la tâche de « liaison de connaissances multimodales » consistant à relier la vidéo à un certain point de connaissance (tel que la correction de la protection alimentaire) de l'entrée (comme Shiba Inu) grâce à une technologie de compréhension de contenu multimodale. . Figure 3 : Lien technologique de construction de Kuai Zhi# 🎜 🎜# Grâce à un grand nombre de révisions manuelles détaillées, les points de connaissances et les vidéos extraits par KuaiZhi ont une grande précision et qualité. Pour des algorithmes plus détaillés et des données expérimentales, veuillez vous référer à l'article ou à notre page d'accueil Github (voir le début de l'article). Tout d'abord, les systèmes d'encyclopédies vidéo courtes multimodales tels que « Kuaipedia » ont grandement contribué au développement technologique de la compréhension par l'IA du potentiel universitaire des connaissances mondiales. D'une part, « Quick Knowledge » dépasse les limites des graphiques, du texte et des tableaux et décrit une entité ou un concept à travers des points de connaissances plus riches et de courtes vidéos. Cette approche peut favoriser le développement de la technologie des graphes de connaissances multimodaux. D'un autre côté, ces points de connaissances et ces courtes vidéos aident l'IA à mieux comprendre les connaissances du monde, en particulier certaines connaissances pratiques difficiles à exprimer en images et en textes. Ce type de connaissances multimodales peut améliorer la compréhension du monde et des textes par l'IA. améliorer la compréhension du monde par l'IA. Les applications en aval dans les domaines de la KG, de la PNL, du CV et d'autres domaines sont très utiles. Concernant la tâche de liaison d'entités CCKS, nous avons prouvé que la simple introduction de connaissances multimodales de « connaissance rapide » peut améliorer efficacement les performances du BERT en matière de liaison d'entités et de classification d'entités. De plus, "Kuaizhi" est très imaginatif dans sa mise en œuvre industrielle, et en train d'étendre l'écologie de la vidéo courte à " pan-knowledge" Parmi eux, le formulaire existant restreint sa méthode de communication. Grâce à un contenu structuré, "Kuaizhi" peut améliorer l'efficacité du fonctionnement et de la distribution de la plate-forme et mieux répondre aux demandes de connaissances des utilisateurs. Nous avons d'abord essayé de mettre en œuvre cette technologie dans la catégorie santé. L'équipe de Kuaishou Health avait précédemment extrait un lot de contenu PUGC de haute qualité de manière purement manuelle en utilisant les types de maladies comme dimension organisationnelle. Cependant, il existait des systèmes de connaissances sur les maladies imparfaits et des vidéos de connaissances faisant autorité. Avec de petits problèmes, il est difficile de créer efficacement un système vidéo complet, à grande échelle et structuré sur les maladies. Après avoir utilisé la technologie de "Kuaizhi", un lot de points de connaissances de haute qualité et de vidéos de connaissances présentant les caractéristiques de Kuaishou sont automatiquement extraits, ce qui enrichit le contenu de la maladie et est plus efficace qu'une construction purement manuelle # 🎜 🎜#des dizaines de fois. Actuellement, ce lot de contenu a été lancé sur la page sélectionnée de Kuaishou App : cliquez sur la « barre inférieure » d'une vidéo liée à une maladie dans le flux vidéo sélectionné pour évoquer la page demi-écran « Kuaishou Health », et les utilisateurs peuvent consommer du contenu associé sous l’entrée à laquelle appartient la vidéo. Les points de connaissances et les vidéos de connaissances associées sont présentés dans la figure 4. En plus de la santé, "Kuaizhi" couvre également le contenu des connaissances dans de nombreux domaines tels que l'éducation, l'alimentation, l'agriculture, les zones rurales et les agriculteurs, les parents -L'enfant, le droit, la technologie, la finance, etc. , ont un grand potentiel d'application. Face aux perspectives de développement des contenus de culture générale dans l'industrie de la vidéo courte, nous avons proposé la courte vidéo multimodale « Kuaipedia » Le système d'encyclopédie part d'un stock massif de contenu vidéo court, utilise la technologie de construction de graphes de connaissances multimodales pour extraire des centaines de millions de vidéos de connaissances de haute qualité et structure le contenu de connaissances pour créer la première bibliothèque de connaissances encyclopédiques vidéo courtes systématiques à grande échelle du secteur. , qui a un grand potentiel et une grande imagination dans le monde universitaire et industriel. Premier auteur : Pan Haojie Auteur correspondant : Fu Ruiji Enseignant coopérant : Liu Ming Référence [1] Kuaishou, 2022 Kuaishou Pan Knowledge contenu du rapport écologique. [2] Comité national des normes : Cadre de gestion des connaissances, GB/T 23703. # 🎜 🎜#
Conclusion
Présentation de l'auteur#🎜 🎜 #
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
