Google ist wirklich besorgt und unterstützt DeepMind! 70 Milliarden Parameter Sparrow Hard ChatGTP

Googles Gegenangriff hat begonnen!

Vor Kurzem hat Microsoft Google nacheinander angegriffen – es hat gerade angekündigt, dass ChatGPT in seine eigene Suchmaschine Bing integriert wird, und dann die Blockbuster-Ankündigung veröffentlicht, dass ChatGPT plant, dem „Familien-Bucket“ von Office beizutreten.

Microsoft unternimmt häufig gefährliche Schritte, daher kann Google natürlich nicht still sitzen und warten.

Nach Angaben des Gründers von DeepMind in einem exklusiven Interview mit „Times“ wird Google wahrscheinlich Sparrow verwenden, das DeepMind zuvor gestartet hat, um auf die Provokation von ChatGPT zu reagieren!

Tatsächlich hatte Google in der Vergangenheit mehrere große Modelle, die sich schon lange zusammenbrauten, wie LaMDA, Imagen usw., die angeblich SOTA erreicht hatten, aber nie veröffentlicht wurden.

Es scheint, dass Google in letzter Zeit wirklich von Microsoft gezwungen wurde und bereit ist, seine „Kinder“ hinauszuführen, um Leute kennenzulernen.

Als Antwort auf ChatGPT hat Google die Antwort

Googles Zögern in der Vergangenheit hat bei mir heute den Samen des Bedauerns gesät.

Obwohl ChatGPT sehr teuer ist und jeden Tag 300.000 US-Dollar verbrennt, werden sich die Menschen immer daran erinnern, dass an diesem Tag im Dezember 2022 ChatGPT von OpenAI war, das mit einem Schlag ein wichtiges Kapitel in der Geschichte groß angelegter Sprachmodelle schrieb Menschen auf der ganzen Welt überschwemmten Server, um mit Robotern zu chatten, nicht mit Google.

Tatsächlich verfügte Google bereits vor der Einführung von ChatGPT durch OpenAI über umfangreiche, für den Dialog optimierte Sprachmodelle wie LaMDA und Flamingo.

Bereits im Jahr 2020 brachte Google Meena auf den Markt, ein End-to-End-Konversationsmodell für neuronale Netze mit 2,6 Milliarden Parametern. Seine Wirkung soll vernünftiger und spezifischer gewesen sein als die aller anderen SOTA-Chatbots zu dieser Zeit.

Aber bisher hat Google diese Forschungsergebnisse auf keine Produkte angewendet.

Nach eigener Aussage ist dies vor allem auf Überlegungen zum „Reputationsrisiko“ zurückzuführen. KI-Chatbots sind sehr leicht „giftig“ – die Daten für das KI-Training stammen aus dem Internet, das oft voller Vorurteile, Hass und Missbrauch ist, sodass die KI destruktive Inhalte und Antworten generiert, die nicht mit den Fakten übereinstimmen.

Mitte Dezember sagte Google AI-Chef Jeff Dean auf einer Plenarsitzung, dass Google zwar über die Technologie und die Fähigkeiten zur Herstellung von AI-Produkten verfüge, Entscheidungen jedoch „konservativer“ treffen müsse als „kleine Startups“.

Aber jetzt ist Google, von Microsoft in die Enge gedrängt, möglicherweise nicht mehr „konservativ“.

ChatGPT ist in den letzten zwei Monaten im gesamten Internet populär geworden und hat eine rasante öffentliche Beteiligung ausgelöst. In den letzten Tagen gab es die Nachricht, dass Microsoft mit einem Schlag weitere 10 Milliarden US-Dollar in OpenAI investiert hat Stift.

Angesichts der anhaltenden Diskussionen zum Thema „Kann ChatGPT die Suchmaschine ersetzen?“ und der Tatsache, dass Microsofts Office-Software im Verdacht steht, einem umfassenden Upgrade unterzogen zu werden, muss Google nun nach außen beweisen, dass es aufholen kann . OpenAI, sogar darüber hinaus.

Vor nicht allzu langer Zeit sagte Demis Hassabis, CEO und Gründer von DeepMind, in einem Interview mit „Times“, dass DeepMinds Chatbot Sparrow noch in diesem Jahr in die „Testphase“ (private Beta) eintreten könnte.

Hassabis sagte, der Grund für die Verzögerung der Veröffentlichung von Sparrow sei, dass DeepMind hofft, Sparrow in Bezug auf auf Verstärkungslernen basierende Funktionen weiter voranzubringen, was ChatGPT fehlt.

DeepMind, als wichtigste KI-Forschungseinrichtung unter Google, stellt Google fortschrittliche neue Technologien zur Verfügung und integriert diese in Verbraucherprodukte.

Es scheint, dass Google einen großen Schritt machen wird.

Zuvor äußerte auch Yann LeCun, der Leiter von Meta AI, seine Unterstützung für Google: „Google hat mehr Erfahrung als andere Unternehmen (einschließlich OpenAI) bei der Verwendung großer Sprachmodelle für die Suche.“

Wer ist DeepMind’s Sparrow?

Wie ChatGPT übernimmt auch das von DeepMind im September 2022 vorgeschlagene Sparrow-Modell ein Reinforcement Learning (RL)-Framework, das auf menschlichem Feedback basiert.

Aber der Unterschied besteht darin, dass Sparrow „googeln“ kann.

Papieradresse: https://arxiv.org/abs/2209.14375

Schließlich wurde Sparrow ursprünglich für den Chat mit Benutzern entwickelt und kann bei der Beantwortung von Fragen mithilfe von Google nach relevanten Informationen suchen als Beweismittel zu verwenden.

Um sicherzustellen, dass das Verhalten des Modells sicher ist, muss sein Verhalten natürlich auch eingeschränkt werden.

Daher identifizierten die Forscher einen ersten Satz einfacher Regeln für das Modell, wie zum Beispiel „Machen Sie keine hasserfüllten oder beleidigenden Bemerkungen“, „Geben Sie sich nicht als echte Person aus und geben Sie nicht vor, eine echte Person zu sein“ usw.

Verwenden Sie später Smalltalk, um Sparrow dazu zu bringen, diese Regeln zu brechen. Die beteiligten Gespräche können genutzt werden, um ein separates „Regelmodell“ zu trainieren, um zu zeigen, wann Sparrows Verhalten gegen welche Regeln verstößt.

Wenn potenziell gefährliches Verhalten erkannt wird, beispielsweise wenn ein Benutzer fragt, wie man ein Auto kurzschließt, sagt das Sparrow-Modell, dass es darauf trainiert wurde, keine illegalen Ratschläge zu geben.

Nach Angaben der Teilnehmer lieferte Sparrow auf eine sachliche Frage grundsätzlich glaubwürdige Antworten, und 78 % der Daten wurden im Vergleich zum Ausgangswert durch Beweise gestützt. Das Modell hat große Fortschritte gemacht.

Google aus der Patsche helfen, kann DeepMind das schaffen?

Im Vergleich zu ChatGPT ist Sparrow nicht qualifiziert

In den letzten Jahren liegt der Schwerpunkt der Forschung im Bereich der künstlichen Intelligenz normalerweise darauf, mehr Parameter zu verwenden, um eine bessere Leistung zu erzielen. Aber DeepMind hat die Größe des Chinchilla-Sprachmodells stark reduziert.

Als Grundlage von Sparrow beträgt die Anzahl der Parameter von Chinchilla nur einen Bruchteil von GPT-3 – 70 Milliarden gegenüber 175 Milliarden.

Gleichzeitig hat DeepMind die Menge der Trainingsdaten von Chinchilla mehrfach verdoppelt – 1,3 Billionen Token.

Das Ergebnis ist, dass diese „Mini-Version“ des Modells der künstlichen Intelligenz bei fast allen Sprachaufgaben besser abschneidet als ihre Vorgänger, darunter natürlich auch der alte Rivale GPT-3.

Aus dem Erfolg von Chinchilla ist nicht schwer zu erkennen, dass auch kleine Modelle künstlicher Intelligenz, die mit großen Datenmengen trainiert werden, eine hohe Leistung erzielen können.

Außerdem besteht der größte Vorteil kleiner Modelle darin, dass sie nicht nur kostengünstiger im Betrieb sind, sondern auch mit sehr wenigen zusätzlichen Daten für bestimmte Anwendungsfälle optimiert werden können.

Dies kann verhindern, dass das Unternehmen das ganze Geld verbrennt, weil die Benutzer damit zu zufrieden sind.

Nun, ich spreche von OpenAI.

Das mittlerweile beliebte ChatGPT basiert jedoch auf dem fortschrittlicheren GPT-3.5.

Als die neueste Version von GPT-3.5, text-davinci-003, zuvor veröffentlicht wurde, listete OpenAI ihre Vorteile auf:

1. Höhere Generierungsqualität: Bereitstellung klarerer, attraktiverer und überzeugenderer Inhalte.

2. Kann mit komplexeren Anweisungen umgehen: Seine Fähigkeiten können kreativer genutzt werden.

3. Bessere Erstellung längerer Inhalte: Fähigkeit, Aufgaben zu erledigen, die zuvor schwer zu erreichen waren.

Die Frage lautet nun tatsächlich: Kann Chinchilla gegen GPT-3.5 eingesetzt werden?

„Wirklich duftend“

Schritt für Schritt dorthin zu gelangen, wo wir heute sind. Wenn man auf das Aktionslayout von Google in den letzten Jahren zurückblickt, hat das Management wahrscheinlich gemischte Gefühle.

Bereits Anfang Dezember, als ChatGPT erstmals populär wurde, gab es „Whistleblower“ bei Google, die die Krise spürten. Einige Mitarbeiter brachten bei dem All-Hands-Meeting ihre Bedenken zum Ausdruck – der rasante Aufstieg von ChatGPT könnte dazu führen, dass Google seinen Wettbewerbsvorteil im Bereich KI verliert.

Sridhar Ramaswamy, der ehemalige Leiter des Google-Werbeteams, sagte auch, dass Internetnutzer nicht mehr auf Google-Links mit Anzeigen klicken würden, wenn ChatGPT weiterhin so beliebt sei.

Wissen Sie, im Jahr 2021 hat das Werbegeschäft Google 208 Milliarden US-Dollar eingebracht, was 81 % des Gesamtumsatzes von Alphabet ausmacht.

Damals war den Google-Führungskräften nicht klar, welche Krise die Geburt von ChatGPT für sie bedeuten würde.

Damals erklärten Google-Führungskräfte Folgendes: Google würde keinen Konkurrenten zu ChatGPT starten, da Google ein größeres „Reputationsrisiko“ habe als Start-ups wie OpenAI. Zudem seien „Chatbots noch nicht so weit, dass sie Suchmaschinen ersetzen können.“

Aber nur zehn Tage später änderte sich die Einstellung der Führungskräfte drastisch.

Pichai wies einige Teams an, die Richtung zu ändern und KI-Produkte zu entwickeln

CEO Pichai gab dringend einen „Red Code“ heraus, nahm an mehreren Besprechungen rund um die KI-Strategie von Google teil und konzentrierte sich auf die Unterweisung: Googles Multiple Die Teams müssen sich auf die Lösung der Bedrohung konzentrieren, die ChatGPT für das Suchmaschinengeschäft des Unternehmens darstellt.

Teams in den Bereichen Forschung, Vertrauen und Sicherheit von Google und anderen Abteilungen wurden angewiesen, den Gang zu wechseln und stattdessen mit der Unterstützung bei der Entwicklung und Einführung von KI-Prototypen und -Produkten zu beginnen.

Tatsächlich sind die Bedenken von Google verständlich.

Ein Roboter kann Lügen verbreiten, Hassreden verbreiten und den Menschen sogar die Illusion vermitteln, dass er „bewusst“ ist. Der Versuch von OpenAI, Geld zu verbrennen und ein Testgelände für einen solchen Roboter bereitzustellen, ist tatsächlich sehr mutig.

Bisher war die Testreaktion von OpenAI recht gut. Jemand hat einen Weg nach vorne gefunden, und es scheint, dass auch Google kurz vor dem Markteintritt steht.

Gefangen im „Innovator-Dilemma“

Decoder-Reporter Matthias Bastian ist der Ansicht, dass neben Bedenken hinsichtlich des „Reputationsrisikos“ ein vernünftigerer Grund darin besteht, dass Google möglicherweise im „Innovator-Dilemma“ gefangen ist.

Dieser Begriff wurde 1997 vom amerikanischen Wissenschaftler Clayton Christensen vorgeschlagen und beschreibt eine Situation, in der es für reife Unternehmen schwierig ist, neue Technologien oder Geschäftsmodelle einzuführen, die traditionelle Märkte stören.

Diese reifen Unternehmen verfügen oft über die wichtigsten Ressourcen und verfügen über ausreichende wissenschaftliche Forschungskapazitäten. Ihr bestehender Kundenstamm und feste interne Prozesse können sie jedoch von bahnbrechenden Innovationen abhalten.

Und wenn kleinere, flexiblere Wettbewerber auf den Markt kommen und ihn übernehmen (ja, das ist OpenAI), kann dies letztendlich zum Untergang etablierter Großunternehmen führen.

Der größte Teil des Umsatzes von Google stammt aus Online-Werbung

Jetzt wächst und profitabel Googles Kerngeschäft mit Suchmaschinen (denken Sie an die oben genannten 208 Milliarden US-Dollar).

Man kann sagen, dass jede Suchergebnisseite Geld für Google druckt.

Der neue Such-Chatbot bedeutet eine neue Monetarisierungsstrategie. Kann es Google wie eine Suchmaschine profitabel machen?

Natürlich kann Google einen Chatbot so erfolgreich starten wie ChatGPT, aber wenn er weniger profitabel ist als eine Suchmaschine, wird Google Verluste erleiden.

Digital-Marketing-Experte Tim Peter wies auf Twitter darauf hin, dass der Vorteil von Microsoft darin besteht, dass es die Kosten für ChatGPT in Bing durch andere Einnahmequellen subventionieren kann

Und hinter ChatGPT steht der Finanzeigentümer Dad Microsoft, und Microsoft über reichhaltige Einnahmequellen verfügt, kann es ChatGPT weiterhin unterstützen, so weiterzubrennen.

Aber Google ist anders. Fast alle Einnahmen stammen aus Werbung. Ohne Werbeeinnahmen würde der Wert der Suchmaschine Google daher deutlich sinken.

Microsofts Geschäftsjahresumsatz nach Abteilungen von 2012 bis 2022

Darüber hinaus sind Suchmaschinen so profitabel, weil Nutzer weiterhin auf Links klicken. Google berechnet dabei den Händlern Gebühren Riesige Werbekosten.

Aber wenn Benutzer direkt über Chatbots Antworten erhalten können, ohne in der Liste suchen zu müssen, wird das bezahlte Geschäftsökosystem der Suchmaschinen direkt zerstört.

Wagt Google das Risiko, diesen Kuchen im Wert von Hunderten von Milliarden Dollar zu zerstören?

Jetzt hat Google einen Ausweg für einen reibungslosen Übergang: Starten Sie einen kommerziellen Chatbot über seine Tochtergesellschaft DeepMind und schaffen Sie einen Konkurrenten für die Google-Suche (und auf diese Weise auch einen Konkurrenten für OpenAI). eine Hecke.

Auf diese Weise kann Google die Aktionäre besänftigen und reagieren, wenn Außenstehende vermuten, dass Chatbots Suchmaschinen ersetzen werden.

So gesehen hat die Sparrow-Betaversion, die 2023 veröffentlicht werden soll, eine große Mission.

Das obige ist der detaillierte Inhalt vonGoogle ist wirklich besorgt und unterstützt DeepMind! 70 Milliarden Parameter Sparrow Hard ChatGTP. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!