Périphériques technologiques
IA
Les points forts technologiques du camp virtuel en direct 3D du Taobao Creation Festival 2022 dévoilés
Les points forts technologiques du camp virtuel en direct 3D du Taobao Creation Festival 2022 dévoilés
Le 24 août 2022, le Taobao Maker Festival fera ses débuts ! Afin d'explorer la prochaine génération d'expériences de magasinage immersives sur Internet, en plus de construire un « Camp du futur » panoramique de 20 000 mètres carrés dans le hall d'exposition hors ligne de la Foire de Canton, ce Festival de la Création a également lancé pour la première fois en ligne un espace interactif virtuel. "3D Crazy" qui peut accueillir des dizaines de milliers de personnes en ligne en même temps.
Dans le camp virtuel 3D, les utilisateurs peuvent découvrir les textures de jeu haute définition de manière légère et rejoindre le monde de "3D People and Goods Yard" en tant que personnages virtuels, interagir avec les joueurs et les produits 3D pour satisfaire la nouvelle génération de consommateurs. . Les exigences du groupe qui aime jouer et créer, apportent une nouvelle expérience de consommation avec une technologie innovante.
Jetons un coup d'œil à l'expérience et aux points forts techniques du camp virtuel 3D en direct :
"Jeu réel" 3D léger à l'œil nu
Une fois que vous avez aimé un jeu 3D et que le client a téléchargé plusieurs gigaoctets et je voulais y jouer, je dois désinstaller le nouveau jeu car il prend trop de mémoire ! Dans le camp virtuel du Festival de la Création, vous pouvez rapidement charger un "jeu" 3D interactif, diffusé en direct et haute définition à l'œil nu, que vous pouvez même acheter, et votre application Taobao "n'a pas du tout grossi". ." Chargement sur votre téléphone La vitesse est "huffante" ~
▐ Points forts techniques : le défi du coût du cloud
Le développement traditionnel d'applications de jeux 3D côté mobile nécessite souvent l'intégration de dizaines ou de centaines de jeux M moteurs à la fin, et cela nécessite également de télécharger plusieurs gigaoctets de ressources matérielles, ce qui est actuellement irréaliste dans l'application Taobao. L'utilisation du rendu cloud peut très bien résoudre ce problème. Avec l'aide d'un GPU puissant dans le cloud, les utilisateurs peuvent effectuer un rendu de scènes haute définition et complexe. Les utilisateurs n'ont pas besoin de télécharger de gros fichiers de ressources ou d'installer du contenu. pour lire le flux multimédia rendu en temps réel.
Mais le plus gros problème ici est le coût des machines de rendu cloud. Afin de réduire le coût des machines de rendu cloud, en plus du rendu cloud, nous réalisons également des stratégies d'optimisation des performances telles que la réduction de la surface du modèle, la fusion DP, l'optimisation des textures et la réduction de la résolution du matériel vidéo. En termes de planification des machines, une stratégie d'expansion et de contraction dynamique basée sur le temps a été développée sur la base de scénarios commerciaux afin de maximiser l'utilisation des machines.
Les personnes 3D et les produits 3D se rencontrent pour la première fois dans le monde virtuel 3D
Les utilisateurs 3D qui s'habillaient autrefois en "Taobao Life" "sont sortis" de chez eux pour la première fois et sont venus au camp virtuel 3D en direct de la Fête de la Création. Ici, vous pouvez sauter librement, allumer des feux de joie, visualiser des produits 3D, regarder les émissions en direct des vendeurs et interagir avec les joueurs. Des personnes 3D, des produits 3D et des environnements 3D sont combinés pour vous offrir une expérience d'aventure de camp immersive et merveilleuse.
▐ Points forts techniques : Construction et interaction du parc de personnes et de marchandises
Interaction entre les personnes. Placer les personnages 3D de Taobao Life dans le monde virtuel 3D nécessite d'abord certains coûts de conversion d'actifs et de rendu. La course de l'utilisateur dans le camp implique une synchronisation en temps réel de la position de l'utilisateur. Pour l'itinérance en temps réel des utilisateurs, nous utilisons la technologie de synchronisation de trame pour mettre à jour les informations de localisation des utilisateurs à une fréquence fixe. Idéalement, les utilisateurs ne se sentiront pas bloqués, mais la congestion du réseau provoque inévitablement une gigue entre les trames. cela provoquera un saut. Afin de combler cette lacune, nous utilisons un algorithme de compensation de mouvement lors du rendu des caractères. En termes simples, il utilise une simulation d'algorithme pour rendre la transition de mouvement de position de l'utilisateur plus fluide. Parallèlement, en termes de synchronisation des données interactives, l'algorithme de grille AOI est utilisé pour résoudre le problème de la synchronisation des données de plusieurs personnes sur le même écran. De cette façon, les personnages 3D fonctionneront plus facilement dans le monde virtuel.
Interaction entre les personnes et les produits. Il n'est pas facile pour les utilisateurs de visualiser librement les détails des produits 3D dans une scène virtuelle. Nous avons le choix entre deux options : l'une est le rendu mobile et l'autre est le rendu cloud. Le rendu mobile a également des solutions relativement matures dans Taobao Malheureusement, le moteur de rendu mobile et le moteur de rendu cloud ne sont pas le même ensemble, donc le même modèle de produit ne peut pas être utilisé universellement. En même temps, téléchargement dynamique du modèle, réduction de surface. L'optimisation, etc. doit également être prise en compte. Problème, afin d'éviter ces inconvénients, nous avons toujours choisi la solution de rendu cloud En changeant dynamiquement la perspective de la caméra et en répondant aux instructions interactives de l'utilisateur en temps réel, nous pouvons réaliser l'expérience de rotation. et zoomer pour regarder des produits 3D.
Résolution 1080P et qualité haute définition cool
Une fois que vous avez essayé le mini-jeu de page dans l'application mobile, il était aussi flou qu'une mosaïque. Vous avez couru, sauté et laissé tomber des images. Le nouveau camp virtuel 3D du Creation Festival présente des images haute définition, des effets fluides et l'éclairage de la scène peut vous suivre dynamiquement en tant que « star » ~
▐ Points forts techniques : production de contenu et transmission en temps réel du rendu cloud
Dans le cloud, nous utilisons Unreal Engine pour restituer des images en temps réel et combinons le mouvement dynamique du miroir, l'éclairage de scène dynamique, les personnages multi-vues, les effets de particules et d'autres technologies pour donner à l'image un aspect... Plus cool et plus interactif pour les utilisateurs. Afin de transmettre des images haute définition aux téléphones mobiles des utilisateurs, nous devons considérer de manière globale l'équilibre entre la qualité, le retard et le délai de l'image avec l'aide du réseau de transmission GRTN construit conjointement par Taobao et Alibaba Cloud, ainsi que par nous-mêmes. -Algorithmes d'encodage et de décodage développés, nous pouvons maximiser assurer la clarté de la qualité de l'image.
Écran virtuel interactif sans décalage
Une fois que vous étiez dans la salle de diffusion en direct de Taobao, comptez à rebours « 3, 2, 1, commencez à saisir ! » et ressentez le frisson des ventes flash à très faible latence. Mais vous, en dehors de l'écran, ne pouvez pas intervenir directement dans les actions du présentateur dans la salle de diffusion en direct par le biais d'une interaction. Dans le camp virtuel 3D, vous pouvez danser et dire bonjour, cliquer sur les produits 3D des commerçants, et regarder les explications de vos présentateurs préférés. Vous pouvez véritablement « communiquer avec les commerçants et les présentateurs dans le même cadre ».
▐ Points forts techniques : latence ultra-faible en liaison complète
Différent de la transmission d'images sans interférence, pour obtenir une expérience fluide à latence ultra-faible dans des conditions interactives, nous devons compléter les instructions d'utilisation en amont et en aval dans les 100 millisecondes. Rendu en temps réel de l'image et renvoi de l'image rendue au téléphone mobile de l'utilisateur. Tout d'abord, il est nécessaire de prendre en compte de manière exhaustive les conditions de la machine, du réseau et du point d'accès de l'utilisateur pour sélectionner dynamiquement le nœud push le plus proche de l'utilisateur, ajustant ainsi la stratégie cloud push (y compris la définition et la sélection de la méthode de codage). Deuxièmement, pendant le processus de transmission, des stratégies de contrôle de réseau faibles telles que le retour de bande passante en temps réel, la FEC et les tampons dynamiques doivent être utilisées pour lutter contre la gigue du réseau, afin que l'ensemble du retard de liaison atteigne une position raisonnable et, finalement, permette une interaction dans le monde virtuel. Assurez une expérience interactive fluide.
Conclusion
Ce camp virtuel 3D du Creation Festival est la première tentative en ligne de la série "3D Crazy City" de l'espace interactif virtuel de Taobao. Dans la prochaine étape, nous combinerons le rendu en temps réel dans le cloud et la technologie XR/CG pour réaliser une personnalisation de scènes virtuelles, prendre en charge une interaction utilisateur en temps réel à plus grande échelle et offrir une expérience interactive plus immersive aux consommateurs.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Sujets chauds
Pourquoi le Gaussian Splatting est-il si populaire dans la conduite autonome que le NeRF commence à être abandonné ?
Jan 17, 2024 pm 02:57 PM
Écrit ci-dessus et compréhension personnelle de l'auteur Le Gaussiansplatting tridimensionnel (3DGS) est une technologie transformatrice qui a émergé dans les domaines des champs de rayonnement explicites et de l'infographie ces dernières années. Cette méthode innovante se caractérise par l’utilisation de millions de gaussiennes 3D, ce qui est très différent de la méthode du champ de rayonnement neuronal (NeRF), qui utilise principalement un modèle implicite basé sur les coordonnées pour mapper les coordonnées spatiales aux valeurs des pixels. Avec sa représentation explicite de scènes et ses algorithmes de rendu différenciables, 3DGS garantit non seulement des capacités de rendu en temps réel, mais introduit également un niveau de contrôle et d'édition de scène sans précédent. Cela positionne 3DGS comme un révolutionnaire potentiel pour la reconstruction et la représentation 3D de nouvelle génération. À cette fin, nous fournissons pour la première fois un aperçu systématique des derniers développements et préoccupations dans le domaine du 3DGS.
CLIP-BEVFormer : superviser explicitement la structure BEVFormer pour améliorer les performances de détection à longue traîne
Mar 26, 2024 pm 12:41 PM
Écrit ci-dessus et compréhension personnelle de l'auteur : À l'heure actuelle, dans l'ensemble du système de conduite autonome, le module de perception joue un rôle essentiel. Le véhicule autonome roulant sur la route ne peut obtenir des résultats de perception précis que via le module de perception en aval. dans le système de conduite autonome, prend des jugements et des décisions comportementales opportuns et corrects. Actuellement, les voitures dotées de fonctions de conduite autonome sont généralement équipées d'une variété de capteurs d'informations de données, notamment des capteurs de caméra à vision panoramique, des capteurs lidar et des capteurs radar à ondes millimétriques pour collecter des informations selon différentes modalités afin d'accomplir des tâches de perception précises. L'algorithme de perception BEV basé sur la vision pure est privilégié par l'industrie en raison de son faible coût matériel et de sa facilité de déploiement, et ses résultats peuvent être facilement appliqués à diverses tâches en aval.
Choisir une caméra ou un lidar ? Une étude récente sur la détection robuste d'objets 3D
Jan 26, 2024 am 11:18 AM
0. Écrit à l'avant&& Compréhension personnelle que les systèmes de conduite autonome s'appuient sur des technologies avancées de perception, de prise de décision et de contrôle, en utilisant divers capteurs (tels que caméras, lidar, radar, etc.) pour percevoir l'environnement et en utilisant des algorithmes et des modèles pour une analyse et une prise de décision en temps réel. Cela permet aux véhicules de reconnaître les panneaux de signalisation, de détecter et de suivre d'autres véhicules, de prédire le comportement des piétons, etc., permettant ainsi de fonctionner en toute sécurité et de s'adapter à des environnements de circulation complexes. Cette technologie attire actuellement une grande attention et est considérée comme un domaine de développement important pour l'avenir des transports. . un. Mais ce qui rend la conduite autonome difficile, c'est de trouver comment faire comprendre à la voiture ce qui se passe autour d'elle. Cela nécessite que l'algorithme de détection d'objets tridimensionnels du système de conduite autonome puisse percevoir et décrire avec précision les objets dans l'environnement, y compris leur emplacement,
Cet article vous suffit pour en savoir plus sur la conduite autonome et la prédiction de trajectoire !
Feb 28, 2024 pm 07:20 PM
La prédiction de trajectoire joue un rôle important dans la conduite autonome. La prédiction de trajectoire de conduite autonome fait référence à la prédiction de la trajectoire de conduite future du véhicule en analysant diverses données pendant le processus de conduite du véhicule. En tant que module central de la conduite autonome, la qualité de la prédiction de trajectoire est cruciale pour le contrôle de la planification en aval. La tâche de prédiction de trajectoire dispose d'une riche pile technologique et nécessite une connaissance de la perception dynamique/statique de la conduite autonome, des cartes de haute précision, des lignes de voie, des compétences en architecture de réseau neuronal (CNN&GNN&Transformer), etc. Il est très difficile de démarrer ! De nombreux fans espèrent se lancer dans la prédiction de trajectoire le plus tôt possible et éviter les pièges. Aujourd'hui, je vais faire le point sur quelques problèmes courants et des méthodes d'apprentissage introductives pour la prédiction de trajectoire ! Connaissances introductives 1. Existe-t-il un ordre d'entrée pour les épreuves de prévisualisation ? R : Regardez d’abord l’enquête, p
Le papier Stable Diffusion 3 est enfin publié, et les détails architecturaux sont révélés. Cela aidera-t-il à reproduire Sora ?
Mar 06, 2024 pm 05:34 PM
L'article de StableDiffusion3 est enfin là ! Ce modèle est sorti il y a deux semaines et utilise la même architecture DiT (DiffusionTransformer) que Sora. Il a fait beaucoup de bruit dès sa sortie. Par rapport à la version précédente, la qualité des images générées par StableDiffusion3 a été considérablement améliorée. Il prend désormais en charge les invites multithèmes, et l'effet d'écriture de texte a également été amélioré et les caractères tronqués n'apparaissent plus. StabilityAI a souligné que StableDiffusion3 est une série de modèles avec des tailles de paramètres allant de 800M à 8B. Cette plage de paramètres signifie que le modèle peut être exécuté directement sur de nombreux appareils portables, réduisant ainsi considérablement l'utilisation de l'IA.
DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre !
Mar 21, 2024 pm 05:21 PM
Cet article explore le problème de la détection précise d'objets sous différents angles de vue (tels que la perspective et la vue à vol d'oiseau) dans la conduite autonome, en particulier comment transformer efficacement les caractéristiques de l'espace en perspective (PV) en vue à vol d'oiseau (BEV). implémenté via le module Visual Transformation (VT). Les méthodes existantes sont globalement divisées en deux stratégies : la conversion 2D en 3D et la conversion 3D en 2D. Les méthodes 2D vers 3D améliorent les caractéristiques 2D denses en prédisant les probabilités de profondeur, mais l'incertitude inhérente aux prévisions de profondeur, en particulier dans les régions éloignées, peut introduire des inexactitudes. Alors que les méthodes 3D vers 2D utilisent généralement des requêtes 3D pour échantillonner des fonctionnalités 2D et apprendre les poids d'attention de la correspondance entre les fonctionnalités 3D et 2D via un transformateur, ce qui augmente le temps de calcul et de déploiement.
Les dernières nouvelles de l'Université d'Oxford ! Mickey : correspondance d'images 2D en 3D SOTA ! (CVPR\'24)
Apr 23, 2024 pm 01:20 PM
Lien du projet écrit devant : https://nianticlabs.github.io/mickey/ Étant donné deux images, la pose de la caméra entre elles peut être estimée en établissant la correspondance entre les images. En règle générale, ces correspondances sont 2D à 2D et nos poses estimées sont à échelle indéterminée. Certaines applications, telles que la réalité augmentée instantanée, à tout moment et en tout lieu, nécessitent une estimation de pose des métriques d'échelle, elles s'appuient donc sur des estimateurs de profondeur externes pour récupérer l'échelle. Cet article propose MicKey, un processus de correspondance de points clés capable de prédire les correspondances métriques dans l'espace d'une caméra 3D. En apprenant la correspondance des coordonnées 3D entre les images, nous sommes en mesure de déduire des métriques relatives.
'Minecraft' se transforme en une ville IA et les habitants des PNJ jouent comme de vraies personnes
Jan 02, 2024 pm 06:25 PM
Veuillez noter que cet homme carré fronça les sourcils, pensant à l'identité des « invités non invités » devant lui. Il s’est avéré qu’elle se trouvait dans une situation dangereuse, et une fois qu’elle s’en est rendu compte, elle a rapidement commencé une recherche mentale pour trouver une stratégie pour résoudre le problème. Finalement, elle a décidé de fuir les lieux, de demander de l'aide le plus rapidement possible et d'agir immédiatement. En même temps, la personne de l'autre côté pensait la même chose qu'elle... Il y avait une telle scène dans "Minecraft" où tous les personnages étaient contrôlés par l'intelligence artificielle. Chacun d’eux a un cadre identitaire unique. Par exemple, la jeune fille mentionnée précédemment est une coursière de 17 ans mais intelligente et courageuse. Ils ont la capacité de se souvenir, de penser et de vivre comme des humains dans cette petite ville de Minecraft. Ce qui les anime est une toute nouvelle,
