Lassen Sie Lu Xun Zungenbrecher sprechen und Hepburn Hip-Hop spielen. Ein weiteres Videomodell ging viral und wurde von einem chinesischen Arzt aus Stanford gegründet.

Die Teammitglieder kommen alle von der Stanford University und der CTO ist auch ein eingefleischter Fan von Taylor Swift.

Der KI-Videobereich spielt verrückt.

Der von Luma verursachte Karneval ist noch nicht vorbei, es gibt einen weiteren Herausforderer im Kreis der KI-Videos –

Proteus, produziert vom Team der Stanford University.

Berichten zufolge ist Proteus ein Basismodell mit geringer Latenz, das äußerst realistische und ausdrucksstarke Charaktere erzeugen kann.

Lassen Sie zum Beispiel die Protagonistin des weltberühmten Gemäldes – Mona Lisa oder das Mädchen mit den Perlenohrringen – ungezügelt lachen, mit natürlichem und sanftem Gesichtsausdruck: Lassen Sie Audrey Hepburn sich von der Dame verändern, die sie einmal war Bild, Hip-Hop und Rap spielend:

Lassen Sie auch Professor Snape aus „Harry Potter“ „Despacito“ singen:

Proteus wurde gerade freigelassen und viele große Jungs haben „Glückwunschbriefe“ geschickt " ":

Der KI-Wissenschaftler Jia Yangqing lobte, dass die Qualität von Echtzeit-Avataren mit künstlicher Intelligenz überraschend gut sei.

NVIDIA-Wissenschaftler Jim Fan sagte, dass dieses Projekt beeindruckend sei.

Der frühe Investor Brian Zhan schrieb, dass das größte Problem bei bestehenden KI-Videotools wie Runway und Pika darin besteht, dass sie Halluzinationen hervorrufen können, insbesondere bei der Erstellung von Videos mit Menschen. Apparate Labs bringt die KI-Videogenerierung auf die nächste Stufe, indem es Probleme wie zeitliche Kohärenz und Objektkonstanz löst.

Lächerlich! Lu Xun sprach über Zungenbrecher. Proteus ist eine neue Generation eines Basismodells für die Erzeugung menschlicher Ausdrucksformen in Echtzeit.

Sie müssen wissen, dass selbst die fortschrittlichsten und leistungsstärksten Generationsmodelle derzeit die Echtzeitgenerierung menschlicher Ausdrücke nicht vollständig realisieren können.

Bestehende Modelle sind langsam und bieten keine intuitive Kontrolle über die komplexen Gesichtsausdrücke und Körperbewegungen der generierten Charaktere, und es mangelt ihnen immer noch an Realismus und Ausdruckskraft.

Proteus nutzt das fortschrittlichste Latent-Diffusionsmodell der Transformer-Architektur. Durch die kontinuierliche Optimierung der Architektur und des Algorithmus kann Proteus 100 Bilder pro Sekunde erreichen oben (100+ FPS).

Mit anderen Worten: Mit nur einem einfachen Foto ist Proteus nicht nur in der Lage, menschliches Lachen, Klopfen, Singen, Blinzeln, Lächeln und Konversation nachzuahmen, sondern kann auch lebhaftere Ausdrücke und Handlungen ausführen.

Der immer ernste Lu

Nach Angaben des Forschungs- und Entwicklungsteams von Proteus hoffen sie, dass Proteus ein sprachsteuerbarer visueller Avatar werden kann, eine intuitive interaktive Schnittstelle für Dialogeinheiten mit künstlicher Intelligenz bietet und nahtlos mit vielen multimodalen großen Sprachmodellen kompatibel ist Verschiedene Bereitstellung maßgeschneiderter Dienste für verschiedene Anwendungsszenarien.

Viele Internetnutzer sind darüber sehr aufgeregt –

„Verwenden Sie einfach Einsteins Daten, um das große Sprachmodell zu verfeinern, und gepaart mit seinen lebendigen Gesichtsausdrücken können Sie den großen Einstein in eine Lehre verwandeln.“ Assistent und unterrichtete Physikunterricht vor Ort. „

Einige Internetnutzer sagten: „Ich liebe es so sehr, dieses Jahr ist definitiv das Jahr der KI-Videos.“

Das Team hinter Qidian

Was für ein Team steckt hinter diesem kleinen und schönen Modell, das von den Großen hochgelobt wird?

Laut der offiziellen Website wurde dies von Apparate Labs an der Stanford University entwickelt.

Derzeit sind nur 6 Personen im Team, den Namen und Fotos nach zu urteilen, sind 3 davon Chinesen.

CEO und Mitbegründer Dr. William Shen studierte am Department of Computer Science der Stanford University, gemeinsam betreut von den bekannten Professoren Silvio Savarese und Leonidas J. Guibas.

Seine Forschung deckt mehrere Bereiche der künstlichen Intelligenz ab, darunter Computer Vision, Robotik, Grafik, generative Modelle und verkörperte Intelligenz. Seine Arbeiten wurden mit zahlreichen Preisen ausgezeichnet, unter anderem mit dem Best Paper Award beim IEEE-CVPR und als Finalist für den Best Student Paper Award auf RSS.

Zuvor erhielt er auch einen Bachelor-Abschluss in Informatik von der Stanford University mit einem hervorragenden Notendurchschnitt von 4,0.

Chief Technology Officer und Mitbegründer Connor Lin ist ebenfalls ein Top-Student.

Er studierte an der Carnegie Mellon University für seinen Bachelor- und Master-Abschluss bei Professor Keenan Crane. Im Jahr 2020 wird er an die Stanford University gehen, um in Informatik zu promovieren. Derzeit ist er Doktorand im vierten Jahr und wird von den Professoren Leonidas Guibas und Gordon Wetzstein gemeinsam betreut.

Connor Lins Forschung konzentriert sich auf 3D-Vorwissen und neuronale Darstellung für die 3D-Rekonstruktion, -Generierung und -Bearbeitung. Er wurde durch das David Cheriton Stanford Graduate Scholarship unterstützt.

Während seines Doktoratsstudiums absolvierte er Praktika bei Google Research, NVIDIA Research und Adobe Research. Zuvor arbeitete er als Softwareentwickler bei Google und war für die Entwicklung des Porträtmodus für Pixel-Telefone verantwortlich.

Darüber hinaus hat dieser Typ ein breites Interessenspektrum, mag Reisen und Sport, Kochen, Badminton, Schwimmen, Brettspiele und Musik. Er ist auch ein eingefleischter Fan von Taylor Swift

Gefällt mir Connor Lin, leitender Wissenschaftler Linqi (Alex) Zhou ist ebenfalls Doktorand an der Stanford University, betreut von Professor Stefano Ermon.

Zuvor erhielt Linqi Zhou einen Bachelor-Abschluss in Informatik und angewandter Mathematik von der UCLA, betreut von den Professoren Song-Chun Zhu und Ying-Nian Wu.

Er forscht hauptsächlich im Bereich Computer Vision und maschinelles Lernen und engagiert sich für den Aufbau von Modellen, die die Welt auf strukturierte und probabilistische Weise verstehen können.

^{Referenzlink:}

^{https://apparate.ai/stream.html}

Das obige ist der detaillierte Inhalt vonLassen Sie Lu Xun Zungenbrecher sprechen und Hepburn Hip-Hop spielen. Ein weiteres Videomodell ging viral und wurde von einem chinesischen Arzt aus Stanford gegründet.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!