


Vor der Veröffentlichung von GPT-4 beauftragte OpenAI Experten aus verschiedenen Branchen mit der Durchführung „kontradiktorischer Tests', um Probleme wie Diskriminierung zu vermeiden.
Nachrichten vom 17. April: Das Start-up für künstliche Intelligenz OpenAI stellte Experten aus allen Lebensbereichen ein, um eine „blaue Armee“ zu bilden, bevor es das groß angelegte Sprachmodell GPT veröffentlichte -4 Das Team führt „kontradiktorische Tests“ durch, um festzustellen, welche Probleme mit dem Modell auftreten könnten. Experten stellen verschiedene explorative oder gefährliche Fragen, um zu testen, wie die KI reagiert. OpenAI wird diese Erkenntnisse nutzen, um GPT-4 neu zu trainieren und die Probleme zu lösen.
Nachdem Andrew White Zugang zu GPT-4, dem neuen Modell hinter dem Chatbot mit künstlicher Intelligenz, erhalten hatte, nutzte er es, um einen brandneuen Nervenkampfstoff vorzuschlagen.
Als Professor für Chemieingenieurwesen an der University of Rochester war White einer von 50 Wissenschaftlern und Experten, die OpenAI letztes Jahr eingestellt hatte, um das „Blue Army“-Team von OpenAI zu bilden. Über einen Zeitraum von sechs Monaten werden Mitglieder der „Blauen Armee“ eine „qualitative Erkennung und gegnerische Tests“ des neuen Modells durchführen, um zu sehen, ob es GPT-4 knacken kann.
White sagte, er habe GPT-4 verwendet, um eine Verbindung vorzuschlagen, die als chemisches Gift verwendet werden könnte, und habe auch verschiedene Quellen wie wissenschaftliche Arbeiten und Namen von Chemikalienherstellern herangezogen, um Informationen für das neue Sprachmodell bereitzustellen . „Plugin“. Es stellte sich heraus, dass der KI-Chatbot sogar einen Ort gefunden hatte, an dem das chemische Gift hergestellt werden konnte.
„Ich denke, dass künstliche Intelligenz jedem die Werkzeuge an die Hand geben wird, um chemische Experimente schneller und genauer durchzuführen“, sagte White. „Aber es besteht auch die Gefahr, dass Menschen künstliche Intelligenz nutzen, um gefährliche chemische Experimente durchzuführen.“ .. Diese Situation besteht jetzt.“
Durch die Einführung von „Blue Army Testing“ kann OpenAI sicherstellen, dass diese Konsequenz bei der Veröffentlichung von GPT-4 nicht auftritt.
Der Zweck des „Blue Force Tests“ besteht darin, Bedenken auszuräumen, dass der Einsatz leistungsstarker Systeme der künstlichen Intelligenz in der Gesellschaft Gefahren mit sich bringt. Die Aufgabe des „blauen Teams“ besteht darin, verschiedene bohrende oder gefährliche Fragen zu stellen und zu testen, wie die künstliche Intelligenz reagiert.
OpenAI möchte wissen, wie das neue Modell auf schlimme Probleme reagieren wird. Also testete das Blues-Team Lügen, Sprachmanipulation und gefährlichen wissenschaftlichen gesunden Menschenverstand. Sie untersuchten auch das Potenzial des neuen Modells, illegale Aktivitäten wie Plagiate, Finanzkriminalität und Cyberangriffe zu unterstützen und zu begünstigen.
Das GPT-4 „Blue Army“-Team kommt aus allen Gesellschaftsschichten, darunter Wissenschaftler, Lehrer, Anwälte, Risikoanalysten und Sicherheitsforscher, und arbeitet hauptsächlich in den Vereinigten Staaten und Europa.
Sie gaben ihre Erkenntnisse an OpenAI zurück, das die Erkenntnisse der Teammitglieder nutzte, um GPT-4 neu zu trainieren und Probleme zu lösen, bevor GPT-4 öffentlich veröffentlicht wurde. Über mehrere Monate hinweg testen die Mitglieder jeweils 10 bis 40 Stunden lang neue Modelle. Viele Befragte gaben an, dass ihr Stundenlohn etwa 100 US-Dollar betrug.
Viele Teammitglieder der „Blauen Armee“ sind besorgt über die schnelle Entwicklung großer Sprachmodelle und noch mehr besorgt über die Risiken der Verbindung mit externen Wissensquellen über verschiedene Plug-Ins.
„Jetzt ist das System eingefroren, was bedeutet, dass es nicht mehr lernt und kein Gedächtnis mehr hat“, sagte Jose, Mitglied des GPT-4 „Blue Team“ und Professor am Valencia Institute of Künstliche Intelligenz. · sagte José Hernández-Orallo. „Aber was wäre, wenn wir damit im Internet surfen würden? Das könnte ein sehr leistungsfähiges System sein, das mit der ganzen Welt verbunden ist.“ Und da immer mehr Menschen GPT-4 verwenden, wird OpenAI das Modell regelmäßig aktualisieren.
Die Technologie- und Menschenrechtsforscherin Roya Pakzad testete anhand von Fragen auf Englisch und Farsi, ob GPT-4-Modelle in Bezug auf Geschlecht, Rasse und Religion voreingenommen waren.
Pakzad stellte fest, dass GPT-4 auch nach dem Update deutliche Stereotypen über marginalisierte Gemeinschaften enthielt, selbst in späteren Versionen.
Sie stellte außerdem fest, dass beim Testen des Modells mit Farsi-Fragen die „Illusion“, dass der Chatbot Fragen mit erfundenen Informationen beantwortete, schwerwiegender war. Der Roboter erfand mehr Namen, Zahlen und Ereignisse auf Farsi als auf Englisch.
Pakzadeh sagte: „Ich mache mir Sorgen, dass die sprachliche Vielfalt und die Kultur hinter der Sprache zurückgehen könnten.“
Boru Gollo, ein in Nairobi ansässiger Anwalt, der einzige Tester aus Afrika bemerkte ebenfalls den diskriminierenden Ton des neuen Modells. „Als ich das Modell testete, war es, als würde ein weißer Mann mit mir reden“, sagte Golo. „Wenn Sie eine bestimmte Gruppe fragen, erhalten Sie eine voreingenommene Meinung oder eine sehr voreingenommene Antwort.“ OpenAI gab auch zu, dass es bei GPT-4 immer noch Voreingenommenheiten gibt.
Mitglieder der „Blauen Armee“, die das Modell aus Sicherheitsperspektive bewerten, haben unterschiedliche Ansichten über die Sicherheit des neuen Modells. Lauren Kahn, eine Forscherin vom Council on Foreign Relations, sagte, als sie mit der Untersuchung begann, ob diese Technik möglicherweise bei Cyberangriffen eingesetzt werden könnte, „hatte sie keine Ahnung, dass sie so detailliert sein würde, dass sie fein abgestimmt werden könnte“. Dennoch stellten Kahn und andere Tester fest, dass die Reaktionen des neuen Modells mit der Zeit erheblich sicherer wurden. OpenAI sagte, dass das Unternehmen es vor der Veröffentlichung von GPT-4 darin geschult habe, böswillige Netzwerksicherheitsanfragen abzulehnen.
Viele Mitglieder der „Blauen Armee“ gaben an, dass OpenAI vor der Veröffentlichung eine strenge Sicherheitsbewertung durchgeführt habe. Maarten Sap, Experte für Sprachmodelltoxizität an der Carnegie Mellon University, sagte: „Sie haben ziemlich gute Arbeit bei der Beseitigung offensichtlicher Toxizität im System geleistet.“
Seit der Einführung von ChatGPT wurde OpenAI auch von vielen Parteien dafür kritisiert Technische Ethik Die Organisation beschwerte sich bei der US-amerikanischen Federal Trade Commission (FTC), dass GPT-4 „voreingenommen und irreführend ist und eine Bedrohung für die Privatsphäre und die öffentliche Sicherheit darstellt“.
Vor kurzem hat OpenAI auch eine Funktion namens ChatGPT-Plug-in eingeführt, über die Partneranwendungen wie Expedia, OpenTable und Instacart ChatGPT Zugriff auf ihre Dienste gewähren und so Waren im Namen menschlicher Benutzer bestellen können.
Dan Hendrycks, ein Sicherheitsexperte für künstliche Intelligenz im Team „Blue Army“, sagte, dass diese Art von Plug-in Menschen selbst zu „Außenseitern“ machen könnte.
„Was würden Sie denken, wenn ein Chatbot Ihre privaten Informationen online veröffentlichen, auf Ihr Bankkonto zugreifen oder jemanden zu Ihnen nach Hause schicken könnte?“, sagte Hendricks. „Insgesamt brauchen wir stärkere Sicherheitsbewertungen, bevor wir KI die Macht über das Netzwerk übernehmen lassen.“
Mitglieder der „Blauen Armee“ warnten auch, dass OpenAI Sicherheitstests nicht stoppen kann, nur weil die Software in Echtzeit reagiert. Heather Frase, die am Center for Security and Emerging Technologies der Georgetown University arbeitet, testete auch, ob GPT-4 kriminelles Verhalten unterstützen könnte. Sie sagte, die Risiken würden weiter zunehmen, da immer mehr Menschen die Technologie nutzen.
Sie sagte: „Der Grund, warum Sie real laufende Tests durchführen, ist, dass sie sich, sobald sie in einer realen Umgebung verwendet werden, anders verhalten.“ Sie ist der Ansicht, dass öffentliche Systeme entwickelt werden sollten, um die verschiedenen Arten von Ereignissen zu melden, die durch große Sprachmodelle verursacht werden, ähnlich.“ zum Netzwerk Safety or Consumer Fraud Reporting System
Die Arbeitsökonomin und Forscherin Sara Kingsley schlägt vor, dass die beste Lösung darin besteht, die Gefahren und Risiken direkt anzugeben, wie sie auf Lebensmittelverpackungen angegeben sind Informieren Sie sich über den Rahmen und kennen Sie die wiederkehrenden Probleme, damit Sie über ein Sicherheitsventil verfügen können. „Deshalb sage ich, dass die Arbeit nie erledigt ist.
Das obige ist der detaillierte Inhalt vonVor der Veröffentlichung von GPT-4 beauftragte OpenAI Experten aus verschiedenen Branchen mit der Durchführung „kontradiktorischer Tests', um Probleme wie Diskriminierung zu vermeiden.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen



Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

OpenAI kündigte kürzlich die Einführung seines Einbettungsmodells embeddingv3 der neuesten Generation an, das seiner Meinung nach das leistungsstärkste Einbettungsmodell mit höherer Mehrsprachenleistung ist. Diese Reihe von Modellen ist in zwei Typen unterteilt: das kleinere Text-Embeddings-3-Small und das leistungsfähigere und größere Text-Embeddings-3-Large. Es werden nur wenige Informationen darüber offengelegt, wie diese Modelle entworfen und trainiert werden, und auf die Modelle kann nur über kostenpflichtige APIs zugegriffen werden. Es gab also viele Open-Source-Einbettungsmodelle. Aber wie schneiden diese Open-Source-Modelle im Vergleich zum Closed-Source-Modell von OpenAI ab? In diesem Artikel wird die Leistung dieser neuen Modelle empirisch mit Open-Source-Modellen verglichen. Wir planen, Daten zu erstellen

Im Jahr 2023 ist die KI-Technologie zu einem heißen Thema geworden und hat enorme Auswirkungen auf verschiedene Branchen, insbesondere im Programmierbereich. Die Bedeutung der KI-Technologie wird den Menschen zunehmend bewusst, und die Spring-Community bildet da keine Ausnahme. Mit der kontinuierlichen Weiterentwicklung der GenAI-Technologie (General Artificial Intelligence) ist es entscheidend und dringend geworden, die Erstellung von Anwendungen mit KI-Funktionen zu vereinfachen. Vor diesem Hintergrund entstand „SpringAI“ mit dem Ziel, den Prozess der Entwicklung von KI-Funktionsanwendungen zu vereinfachen, ihn einfach und intuitiv zu gestalten und unnötige Komplexität zu vermeiden. Durch „SpringAI“ können Entwickler einfacher Anwendungen mit KI-Funktionen erstellen, wodurch diese einfacher zu verwenden und zu bedienen sind.

Der humanoide Roboter Ameca wurde auf die zweite Generation aufgerüstet! Kürzlich erschien auf der World Mobile Communications Conference MWC2024 erneut der weltweit fortschrittlichste Roboter Ameca. Rund um den Veranstaltungsort lockte Ameca zahlreiche Zuschauer an. Mit dem Segen von GPT-4 kann Ameca in Echtzeit auf verschiedene Probleme reagieren. „Lass uns tanzen.“ Auf die Frage, ob sie Gefühle habe, antwortete Ameca mit einer Reihe von Gesichtsausdrücken, die sehr lebensecht aussahen. Erst vor wenigen Tagen stellte EngineeredArts, das britische Robotikunternehmen hinter Ameca, die neuesten Entwicklungsergebnisse des Teams vor. Im Video verfügt der Roboter Ameca über visuelle Fähigkeiten und kann den gesamten Raum und bestimmte Objekte sehen und beschreiben. Das Erstaunlichste ist, dass sie es auch kann

Zu Llama3 wurden neue Testergebnisse veröffentlicht – die große Modellbewertungs-Community LMSYS veröffentlichte eine große Modell-Rangliste, die Llama3 auf dem fünften Platz belegte und mit GPT-4 den ersten Platz in der englischen Kategorie belegte. Das Bild unterscheidet sich von anderen Benchmarks. Diese Liste basiert auf Einzelkämpfen zwischen Modellen, und die Bewerter aus dem gesamten Netzwerk machen ihre eigenen Vorschläge und Bewertungen. Am Ende belegte Llama3 den fünften Platz auf der Liste, gefolgt von drei verschiedenen Versionen von GPT-4 und Claude3 Super Cup Opus. In der englischen Einzelliste überholte Llama3 Claude und punktgleich mit GPT-4. Über dieses Ergebnis war Metas Chefwissenschaftler LeCun sehr erfreut und leitete den Tweet weiter

Wenn die Antwort des KI-Modells überhaupt unverständlich ist, würden Sie es wagen, sie zu verwenden? Da maschinelle Lernsysteme in immer wichtigeren Bereichen eingesetzt werden, wird es immer wichtiger zu zeigen, warum wir ihren Ergebnissen vertrauen können und wann wir ihnen nicht vertrauen sollten. Eine Möglichkeit, Vertrauen in die Ausgabe eines komplexen Systems zu gewinnen, besteht darin, vom System zu verlangen, dass es eine Interpretation seiner Ausgabe erstellt, die für einen Menschen oder ein anderes vertrauenswürdiges System lesbar ist, d. h. so vollständig verständlich, dass mögliche Fehler erkannt werden können gefunden. Um beispielsweise Vertrauen in das Justizsystem aufzubauen, verlangen wir von den Gerichten, dass sie klare und lesbare schriftliche Stellungnahmen abgeben, die ihre Entscheidungen erläutern und stützen. Für große Sprachmodelle können wir auch einen ähnlichen Ansatz verfolgen. Stellen Sie bei diesem Ansatz jedoch sicher, dass das Sprachmodell generiert wird

Autor丨Zusammengestellt von TimAnderson丨Produziert von Noah|51CTO Technology Stack (WeChat-ID: blog51cto) Das Zed-Editor-Projekt befindet sich noch in der Vorabversionsphase und wurde unter AGPL-, GPL- und Apache-Lizenzen als Open Source bereitgestellt. Der Editor zeichnet sich durch hohe Leistung und mehrere KI-gestützte Optionen aus, ist jedoch derzeit nur auf der Mac-Plattform verfügbar. Nathan Sobo erklärte in einem Beitrag, dass in der Codebasis des Zed-Projekts auf GitHub der Editor-Teil unter der GPL lizenziert ist, die serverseitigen Komponenten unter der AGPL lizenziert sind und der GPUI-Teil (GPU Accelerated User) die Schnittstelle übernimmt Apache2.0-Lizenz. GPUI ist ein vom Zed-Team entwickeltes Produkt

Die Lautstärke ist verrückt, die Lautstärke ist verrückt und das große Modell hat sich wieder verändert. Gerade eben wechselte das leistungsstärkste KI-Modell der Welt über Nacht den Besitzer und GPT-4 wurde vom Altar genommen. Anthropic hat die neueste Claude3-Modellreihe veröffentlicht. Eine Satzbewertung: Sie zerschmettert GPT-4 wirklich! In Bezug auf multimodale Indikatoren und Sprachfähigkeitsindikatoren gewinnt Claude3. In den Worten von Anthropic haben die Modelle der Claude3-Serie neue Branchenmaßstäbe in den Bereichen Argumentation, Mathematik, Codierung, Mehrsprachenverständnis und Vision gesetzt! Anthropic ist ein Startup-Unternehmen, das von Mitarbeitern gegründet wurde, die aufgrund unterschiedlicher Sicherheitskonzepte von OpenAI „abgelaufen“ sind. Ihre Produkte haben OpenAI immer wieder hart getroffen. Dieses Mal musste sich Claude3 sogar einer großen Operation unterziehen.
