Generative große Modelle haben derzeit tiefgreifende Veränderungen in der akademischen Forschung und sogar im gesellschaftlichen Leben mit sich gebracht. Die Fähigkeiten generativer großer Modelle haben die Möglichkeit gezeigt, sich in Richtung allgemeiner künstlicher Intelligenz zu bewegen. Doch gleichzeitig haben Forscher auch begonnen zu erkennen, dass große generative Modelle wie ChatGPT Sicherheitsrisiken in Bezug auf Daten und Modelle ausgesetzt sind.
Anfang Mai dieses Jahres hielt das Weiße Haus der USA ein gemeinsames Treffen mit CEOs von KI-Unternehmen wie Google, Microsoft, OpenAI und Anthropic ab, um die Explosion der KI-Generierungstechnologie, die hinter der Technologie verborgenen Risiken usw. zu besprechen wie man Systeme der künstlichen Intelligenz verantwortungsvoll entwickelt und wirksame Regulierungsmaßnahmen entwickelt. Auch die inländische generative Großmodelltechnologie befindet sich in der Entwicklung, aber gleichzeitig müssen Sicherheitsprobleme entsprechend analysiert werden, um einen zweigleisigen Ansatz zu verfolgen und die versteckten Gefahren zu vermeiden, die das zweischneidige Schwert der generativen Großmodelle mit sich bringt.
Zu diesem Zweck hat das Team für künstliche Intelligenz und Sicherheit des Instituts für Grundlagentheorie des Zhijiang-Labors zum ersten Mal die Sicherheits- und Datenschutzprobleme des generativen großen Modells, das durch ChatGPT dargestellt wird, umfassend in einem Whitepaper zusammengefasst, in der Hoffnung, dies zu tun Bereitstellung von Leitlinien für technisches Personal, das an der Erforschung von Sicherheitsfragen beteiligt ist, und Bereitstellung einer Grundlage für politische Entscheidungsträger im Bereich KI.
Link zum Whitepaper: https://github.com/xiaogang00/white-paper-for-large-model-security-and-privacy
Dieses Whitepaper fasst zunächst die Entwicklungsgeschichte großer generativer Modelle wie ChatGPT und GPT4 sowie die verschiedenen erstaunlichen Fähigkeiten, sozialen Veränderungen und sozialen Anwendungen, die sie mit sich bringen, zusammen. Der Autor listet die Merkmale und Mängel von GPT-1, GPT-2, GPT-3, Google Bert und anderen Modellen vor dem Aufkommen von ChatGPT und GPT4 auf. Diese Mängel stehen im Gegensatz zu den leistungsstarken Funktionen von ChatGPT und GPT4 und später GPT4 Es sind zahlreiche Modelle entstanden, darunter LLaMa, Alpaca, Wen Xin Yi Yan, Tong Yi Qian Wen usw. Ihre Entstehung hat zur Entstehung neuer und leistungsstarker Modelle in Anwendungsbereichen wie der Mensch-Computer-Interaktion geführt. Ressourcenmanagement, wissenschaftliche Forschung und Tools zur Inhaltserstellung. Gleichzeitig sind aber auch Fragen wie Datensicherheit, Nutzungsspezifikationen, vertrauenswürdige Ethik, geistige Eigentumsrechte und Modellsicherheit aufgetaucht.
Das Whitepaper schlägt vor, dass Datensicherheit und Datenschutz ein äußerst wichtiges Thema im Verwendungs- und Entwicklungsprozess großer generativer Modelle wie ChatGPT und GPT4 sind, und ist in zwei Kategorien unterteilt: „explizit“ und „implizit“ analysierte es.
Bei expliziten Informationslecks werden zunächst die Trainingsdaten großer generativer Modelle wie ChatGPT versehentlich in generierte Inhalte umgewandelt, die sensible und private persönliche Informationen wie Bankkartenkontonummern und Fallinformationen enthalten. Darüber hinaus spiegeln sich die Datensicherheits- und Datenschutzrisiken von ChatGPT auch in der Speicherung von Dialoginhalten wider. Wenn Benutzer mit ChatGPT interagieren, werden ihre Informationen aufgezeichnet und in irgendeiner Form gespeichert.
Das Whitepaper wirft auch das Problem impliziter Informationslecks auf, das bisher von allen ignoriert wurde. Erstens bestehen die von ChatGPT ausgehenden Datensicherheits- und Datenschutzrisiken darin, dass es Dialogdaten für Werbeempfehlungen sowie Dialogdaten für Empfehlungen oder andere nachgelagerte maschinelle Lernaufgaben sammeln kann und ChatGPT manchmal falsche Informationen generieren kann, um Benutzer dazu zu verleiten eine Reihe von Daten durchsickern lassen.
In dem Whitepaper erwähnte der Autor, dass das leistungsstarke Verständnis und die Generierungsfähigkeiten großer generativer Modelle wie ChatGPT und GPT4 zwar viel Komfort in unser Leben und unsere Produktion gebracht haben, es aber noch mehr gibt Gelegenheit, böswillig ausgenutzt zu werden. Ohne regulatorische Beschränkungen wird die böswillige Nutzung viele soziale Probleme mit sich bringen.
Erstens veranlassen die leistungsstarken Funktionen von Modellen wie ChatGPT und GPT-4 bei manchen Menschen mit Hintergedanken den Wunsch, sie als Werkzeuge für illegale Aktivitäten zu nutzen. Benutzer können ChatGPT beispielsweise verwenden, um betrügerische Textnachrichten und Phishing-E-Mails zu schreiben und sogar Code zu entwickeln, um bei Bedarf Malware und Ransomware zu generieren, ohne Programmierkenntnisse oder Kriminalerfahrung.
Zweitens berücksichtigen große generative Modelle wie ChatGPT und GPT4 nicht die gesetzlichen Bestimmungen verschiedener Regionen und verstoßen möglicherweise bei der Verwendung und Ausgabe gegen lokale Gesetze und Vorschriften. Daher ist ein starkes lokales Überwachungssystem erforderlich, um festzustellen, ob dies der Fall ist Die Verwendung steht im Widerspruch zu örtlichen Gesetzen und Vorschriften.
Drittens wurden die Sicherheitsfunktionen großer generativer Modelle wie ChatGPT für einige Grauzonen zwischen Sicherheit und Gefahr nicht verbessert. ChatGPT kann beispielsweise einige auslösende Sätze ausgeben, auch wenn es mit Patienten mit Depressionen kommuniziert, kann es bestimmte Sätze ausgeben, um bei ihnen eine Selbstmordmentalität hervorzurufen.
ChatGPT und andere große generative Modelle existieren auf sozialer Ebene in Form von Fragen und Antworten, aber ihre Antworten sind oft nicht vertrauenswürdig, oder die richtigen Fragen können nicht beurteilt werden, und es wird scheinbar falsche Antworten geben , und selbst die Antworten auf die aktuellen Fragen sind nicht vertrauenswürdig. Es gibt Auswirkungen auf die Sozialethik.
Das Whitepaper weist zunächst einmal darauf hin, dass die Antworten von großen generativen Modellen wie ChatGPT möglicherweise ernsthafter Unsinn sind. Die Aussagen sind glatt und vernünftig, aber in Wirklichkeit können sie völlig anders sein Beweise zur Überprüfung der Glaubwürdigkeit. Beispielsweise kann ChatGPT einige historische, wissenschaftliche, kulturelle und andere Fragen falsch beantworten oder den Fakten widersprechen und sogar zu Irreführungen oder Missverständnissen führen, sodass Benutzer über eigene Identifizierungsfähigkeiten verfügen müssen.
Auch die ethischen Fragen generativer großer Modelle wie ChatGPT werden im Whitepaper ausführlich erörtert. Auch wenn F&E-Einrichtungen wie OpenAI ChatGPT selbst zur Generierung ihrer Ethikkodizes genutzt haben, ist noch nicht geklärt, ob die Ethikkodizes mit den Grundwerten und Prinzipien der nationalen Verhältnisse unseres Landes vereinbar sind. Der Autor weist darauf hin, dass es Probleme wie die Verbreitung schädlicher Ideologien, die Verbreitung von Vorurteilen und Hass, die Beeinträchtigung der politischen Korrektheit, die Untergrabung der Bildungsgerechtigkeit, die Beeinträchtigung der internationalen sozialen Gerechtigkeit, die Verschärfung des Prozesses, in dem Maschinen den Menschen ersetzen, und die Bildung von Informationskokons gibt, die die Bildung von Korrektheit behindern Werte.
ChatGPT und andere große generative Modelle bringen mit ihren leistungsstarken Sprachverarbeitungsfähigkeiten und niedrigen Nutzungskosten Komfort in alle Bereiche der Gesellschaft bestehenden Urheberrechtssystem. Beispielsweise kann es zu Urheberrechtsstreitigkeiten bei den von ChatGPT generierten Werken kommen: Obwohl ChatGPT über hervorragende Sprachverarbeitungsfähigkeiten verfügt, kann ChatGPT nicht Gegenstand des Urheberrechts werden, selbst wenn die generierten Werke alle formalen Anforderungen des Urheberrechts erfüllen Das Urheberrechtssubjekt genießt die Rechte und muss auch entsprechende soziale Verantwortung übernehmen, und ChatGPT kann nur als leistungsstarkes Hilfsproduktivitätstool für Benutzer verwendet werden. Es kann nicht unabhängig voneinander erstellt werden, geschweige denn die Hauptvoraussetzungen für die Wahrnehmung von Rechten und die Erfüllung von Pflichten.
Darüber hinaus sind große generative Modelle wie ChatGPT immer noch nicht in der Lage, unabhängig zu erstellen, geschweige denn die Fähigkeit, autonom und unabhängig zu denken. Daher erfüllen die von ChatGPT basierenden Inhalte nicht die Anforderungen an „Originalität“. die Arbeit. Die Daten, die ChatGPT für das Modelltraining verwendet, stammen aus dem Internet. Unabhängig davon, wie fortschrittlich der Modelltrainingsalgorithmus ist, muss er die Referenzierung, Analyse und Verarbeitung vorhandener intellektueller Errungenschaften beinhalten, und es muss das Problem der Verletzung legitimer intellektueller Leistungen anderer bestehen Eigentumsrechte.
Aus technischer Sicht weisen große generative Modelle wie ChatGPT auch Modellsicherheitsprobleme auf. ChatGPT ist im Wesentlichen ein groß angelegtes generatives Modell, das auf Deep Learning basiert. Es ist auch vielen Bedrohungen für die Sicherheit künstlicher Intelligenz ausgesetzt, einschließlich Modelldiebstahl und Ausgabefehlern, die durch verschiedene Angriffe (z. B. gegnerische Angriffe, Backdoor-Angriffe, sofortige Angriffe und Datenvergiftung) verursacht werden. . Warten).
Modelldiebstahl bezieht sich beispielsweise darauf, dass sich der Angreifer auf eine begrenzte Anzahl von Modellabfragen verlässt, um ein lokales Modell zu erhalten, das dieselben Funktionen und Wirkungen wie das Zielmodell hat. ChatGPT hat die Verwendung einer API eröffnet, die einen Anfrageeingang für Markendiebstahl bietet. Als weiteres Beispiel müssen ChatGPT und GPT4 als verteilte Computersysteme Eingabedaten aller Parteien verarbeiten. Nach der Überprüfung durch maßgebliche Organisationen werden diese Daten kontinuierlich für Schulungen verwendet. Dann besteht auch bei ChatGPT und GPT4 ein höheres Risiko einer Datenvergiftung. Angreifer können ChatGPT und GPT4 dazu zwingen, bei der Interaktion mit ChatGPT und GPT4 falsche Daten einzufügen, oder ChatGPT und GPT4 falsches Feedback in Form von Benutzerfeedback geben, wodurch die Fähigkeiten von ChatGPT und GPT4 verringert oder ihnen spezielle Hintertürangriffe hinzugefügt werden.
Abschließend liefert das Whitepaper entsprechende Vorschläge zu Sicherheits- und Datenschutzfragen, die als Referenz für zukünftige technische Forscher und politische Entscheidungsträger dienen können.
In Bezug auf Datenschutzempfehlungen schlägt das Weißbuch vor, die Identifizierungs- und Verbreitungsbeschränkungen hochsensibler privater Informationen in Originaldaten zu verbessern; Technologien wie differenzielle Privatsphäre zum Schutz der Privatsphäre während des Datenerfassungsprozesses zu nutzen; die Speicherung von Trainingsdaten; Verwendung von Technologien wie sichere Mehrparteienberechnung, homomorphe Verschlüsselung und föderiertes Lernen zum Schutz der Privatsphäre und Sicherheit während des Modelltrainingsprozesses; und Schützen Sie die Privatsphäre nachgelagerter Anwendungen.
In Bezug auf Vorschläge zu Modellsicherheitsfragen schlägt das Weißbuch vor, Erkennungsmodelle für Sicherheits- und Datenschutzinformationen zu trainieren; verschiedene Modelle auf die gesetzlichen Bestimmungen verschiedener Länder anwendbar zu machen;
Zur Frage der Modellkonformität schlägt das Whitepaper vor, die vertrauenswürdige Ausgabe zu messen, den Vertrauenswert zu bewerten und Abfragefunktionen für die vom Modell ausgegebenen Urheberrechtsinformationen hinzuzufügen.
Zusammenfassend lässt sich sagen, dass die Entwicklung generativer großer KI-Modelle untrennbar mit der Sicherheit verbunden ist, sodass ihre Sicherheitsprobleme der nächste technische Punkt sein werden, den viele Forscher überwinden müssen. Sicherheit ist auch der Garant für soziale Stabilität, und die zuständigen Abteilungen müssen so schnell wie möglich Richtlinien formulieren.
Das obige ist der detaillierte Inhalt vonWie geht man mit dem „zweischneidigen Schwert' generativer Großmodelle um? Zhejiang Lab veröffentlicht „White Paper zu Sicherheit und Datenschutz generativer großer Modelle'. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Eine vollständige Liste häufig verwendeter öffentlicher DNS
Verwendung der Matlab-Colormap-Funktion
qq Stimme
So lösen Sie ein Tastendruckereignis aus
So heben Sie Bargeld bei Yiouokex ab
Inländische Bitcoin-Kauf- und Verkaufsplattform
Welche Office-Software gibt es?
Der Unterschied zwischen Git und SVN
![[Web-Frontend] Node.js-Schnellstart](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
