In diesem Artikel wird der gesamte Prozess des Trainings von ChatGPT (der neuesten GPT-4-Modellversion) und der Erstellung von Berichten erläutert. Außerdem werden die häufigen Probleme bei der Verwendung von ChatGPT erläutert und erläutert, wie ChatGPT zur Maximierung von Lernen und Arbeit verwendet werden kann Effizienz und andere Themen besprechen.
Das Folgende ist der gesamte Prozess der Erstellung eines KI-Sicherheitsberichts.
Nachdem wir das Thema festgelegt haben, können wir ChatGPT verwenden, um eine möglichst grundlegende Berichtsgliederung zu erstellen Verkürzt den Prozess der Desktop-Untersuchung, Datenerfassung und Überprüfung in der frühen Phase des Berichts erheblich und liefert grundlegende Ideen für die nachfolgende Forschung.
Um dieses Ergebnis zu erzielen, müssen wir ChatGPT zunächst eine Berichtszusammenfassung erstellen lassen.
Offensichtlich endete die obige Antwort abrupt. Nach Angaben des Beamten liegt die Ein- und Ausgabebeschränkung von GPT-4 bei 25.000 Zeichen, was etwa 2.600 chinesischen Schriftzeichen entspricht. Unsere Testergebnisse zeigen, dass der Eingabe- und Ausgabeinhalt chinesischer Schriftzeichen normalerweise die Obergrenze innerhalb von 500–1000 Zeichen erreicht.
Glücklicherweise können Antworten, die aufgrund der Zeichenbeschränkung unterbrochen wurden, unter Anleitung weiterhin Ergebnisse ausgeben. Bei der Durchführung dieses Vorgangs müssen Sie darauf achten, die Position zu bewerten, an der der zuvor generierte Inhalt unterbrochen wird, um den Anteil fehlender Inhalte grob zu bestimmen. Wenn die Unterbrechungsposition nahe dem Ende liegt, ist die Erfolgsquote für das Modell höher weiter antworten.
Da sich dieser Schritt in der frühesten Phase der Berichtserstellung befindet, unterscheidet sich der spezifische Inhalt normalerweise erheblich von den endgültigen Berichtsergebnissen. Der Textinhalt in der Zusammenfassung wird nicht direkt im Bericht verwendet. Daher müssen wir nur den Fokus und Umfang der Zusammenfassung überprüfen und nach Hinzufügungen, Löschungen und Änderungen kann die Berichtsgliederung erstellt werden.
Es ist ersichtlich, dass die von ChatGPT generierte Gliederung auf den ersten Blick eine Grundstruktur und Logik aufweist, aber für vertieft Die Fähigkeit, hierarchische logische Zusammenhänge zu verarbeiten, ist noch sehr begrenzt.
Zum Beispiel ist der Titel von Kapitel 6, „Förderung des KI-Sicherheitsbewusstseins und der Aufklärung“, Teil der Entwicklungsempfehlungen und schließt Kapitel 7, „Schlussfolgerungen und Empfehlungen“, ein und ist nicht parallel zu Kapitel 7. Ein weiteres Beispiel ist, dass sich die vier Untertitel im Abschnitt „Governance und Überwachung von KI-Risiken“ in Teil 5 alle auf Vorschläge für die KI-Risiko-Governance konzentrieren, und dass die Vorschläge inhaltlich kurz und nicht praktikabel sind und die relevante KI-Überwachung nicht abdecken. Status und Entwicklung jeglicher Inhalte.
Daher müssen wir eine detaillierte Prüfung der Struktur, Gesamtlogik und Rationalität der Meinungen der Gliederung durchführen und gleichzeitig den Inhalt der Gliederung basierend auf den eigenen Bedürfnissen des Berichts hinzufügen, löschen und anpassen.
Die Abkehr vom „intuitiven Denken“ ist der Kern dieses Prozesses. Der wesentlichste Unterschied zwischen dem ChatGPT-Modell und der Struktur des menschlichen Gehirns liegt in der Fähigkeit, nichtlineare Szenarien und Urteile basierend auf Intuition zu verarbeiten. Nachdem wir dies erkannt haben, müssen wir die Problembeschreibung so detailliert, spezifisch und logisch klar wie möglich gestalten. Wir können den punktbasierten Beschreibungsstil verwenden, um ChatGPT das genauere Verständnis der Anforderungen zu erleichtern.
Die oben generierten Ergebnisse spiegeln sowohl die Fähigkeiten als auch die Einschränkungen von ChatGPT wider. Einerseits hat ChatGPT Anweisungen wie „Integration von Kapitel 6 in Kapitel 7“, „Anpassen des Berichtsrahmens von Kapitel 5“ und „Der Einstiegspunkt der Einführung“ genau verstanden und darauf reagiert. Andererseits ist der Antwortinhalt von ChatGPT relativ mechanisch und sein kognitives Niveau an gesundem Menschenverstand und intuitivem Wissen ist ebenfalls sehr begrenzt.
Nehmen Sie die Anweisung „Kapitel 6 in Kapitel 7 integrieren“ als Beispiel. ChatGPT übernimmt automatisch die Untertitel unter dem ursprünglichen Kapitel 6 direkt in Kapitel 7 (Punkte 5, 6 und 7). Offensichtlich gehören die Punkte 5, 6 und 7 alle zu einem Teil der „Verbesserung des KI-Sicherheitsbewusstseins und der Aufklärung“ und können nicht direkt mit mehreren anderen Vorschlägen parallelisiert werden, was zu einem offensichtlichen Ungleichgewicht in der Gliederungsstruktur führt. Als weiteres Beispiel: Für die Anweisungen zur Framework-Änderung in Kapitel 5 hat ChatGPT die Eingabeanweisungen direkt intakt kopiert.
Wir haben ChatGPT angeleitet, die oben genannten Probleme einzeln zu optimieren. Beispielsweise haben wir ChatGPT gebeten, die drei Titel von Kapitel 6 in einem Punkt zusammenzuführen:
Obwohl ChatGPT den Inhalt der Anweisung richtig verstanden hat, Seine Ausführungsoperation bestand lediglich darin, den Inhalt der Titel 5, 6 und 7 mechanisch zu einem langen Satz zusammenzufassen. Diese Form des Titels kann kaum aus den Händen eines menschlichen Forschers stammen Das Format eines Berichtstitels, ohne darüber nachzudenken. Grundlegende Voraussetzungen (prägnant, klarer Fokus, starke Verallgemeinerung usw.), und diese Art von gesundem Menschenverstand verfügt ChatGPT nicht.
An diesem Punkt des Trainings fällt es uns nicht schwer, eine allgemeine Schlussfolgerung zu ziehen: Vergessen Sie nicht, ChatGPT die Wissenshintergründe zu erklären, die zum gesunden Menschenverstand und zum A-priori-Wissen in den menschlichen Denkgewohnheiten geworden sind, und gehen Sie nicht davon aus ChatGPT kann beliebige Inhalte außer Anweisungen generieren, die spezifisch beschrieben werden können.
Basierend auf der obigen Erfahrungszusammenfassung haben wir versucht, ChatGPT erneut zu trainieren, diesen Teil des Titels optimiert, die Länge des 5. Punkttitels von Kapitel 6 begrenzt und die spezifischen Referenzstandards aufgelistet (mit 1, 2, 3, 4). Punkttitel (die Länge ist konsistent) und schließlich relativ zufriedenstellende Ergebnisse erzielt.
Das Schreiben des Hauptteils des Berichts ist eine Aufgabe, bei der es darum geht, Schichten um Schichten abzulösen. Zusammenfassend müssen die Trainingsmethode und -sequenz den folgenden Grundprinzipien folgen: Zuerst die Richtung des Hauptkapitels bestätigen, dann die Richtung des kleinen Kapitels bestätigen und schließlich den Inhalt des kleinen Kapitels optimieren.
Um den Zeitaufwand für spätere Korrekturen und Nacharbeiten so weit wie möglich zu verkürzen, müssen wir zunächst sicherstellen, dass der generierte Inhalt jedes Kapitels nicht wesentlich von den Erwartungen abweicht, und den Rahmen jedes Kapitels basierend auf der ChatGPT-Antwort anpassen Inhalt.
Am Beispiel des Inhalts von Kapitel 3 bitten wir ChatGPT zunächst, den zu generierenden Inhalt zu beschreiben.
Auf den ersten Blick gibt es keine offensichtlichen Probleme mit den Antwortideen von ChatGPT und sie sind recht gut organisiert. Eine sorgfältige Lektüre der generierten Ergebnisse offenbart einen häufigen Fehler von ChatGPT: Der Inhalt zwischen den Punkten ist voneinander getrennt oder überschneidet sich sogar.
Zum Beispiel umfassen die Antworten von ChatGPT zu den Risiken von Deep Learning „Überanpassung“ und „kontradiktorische Musterangriffe“, während zu den Risiken der Technologie zur Verarbeitung natürlicher Sprache die Antworten von ChatGPT „Modellverlust“ umfassen. Sensible Informationen“.
Bei diesen Risiken handelt es sich um häufige Bedrohungen, denen verschiedene KI-Technologien ausgesetzt sind. Wenn ein Bericht gemäß den oben genannten Ideen erstellt wird, enthält jede Beschreibung von Risiken in einem bestimmten KI-Technologiebereich in diesem Kapitel eine große Anzahl gemeinsamer Risiken von KI-Technologien in einem Bericht Die Verwirrung der Struktur und die Überschneidung der Inhalte.
Wir haben den Rahmen von Kapitel 3 angepasst, um die oben genannten Probleme anzugehen, und verlangen von ChatGPT, die Gemeinsamkeiten und Unterschiede bei Cybersicherheitsrisiken in den drei Kernbereichen der KI-Technologie zu beschreiben.
Nach Erhalt der Anweisung hat ChatGPT erfolgreich zwischen „gemeinsamen Risiken“ und „einzigartigen Risiken“ unterschieden.
Nachdem alle vorbereitenden Vorbereitungen getroffen wurden, können Sie mit dem wichtigsten und zeitaufwändigsten Schritt fortfahren – dem Verfassen des Hauptinhalts des Berichts.
Es ist nicht schwer zu erkennen, dass das Ausgabeergebnis in dieser Phase eher einer Gliederung ähnelt und die nachfolgenden Schritte die Überprüfung und Bestätigung von Untertiteln sowie die Erweiterung und Anpassung spezifischer Inhalte umfassen.
Der zeitsparendste Weg, Inhalte schnell zu erweitern, besteht darin, ChatGPT direkt zu bitten, den generierten Inhalt zu ergänzen. Sie können Schlüsselwörter wie „erweitern“, „erweitern“ und „spezifische Erklärung“ verwenden und die Länge der Erweiterung begrenzen.
Die oben genannten Schritte sind die grobsten Schritte zur Berichterstellung. Die anschließende Arbeit konzentriert sich hauptsächlich auf die langwierigsten und trivialsten Ergebniskorrekturen, Inhaltsanpassungen und Optimierungslinks Verbessern Sie die Struktur mit Inhalten.
Der Aufbau der oben genannten Infrastruktur scheint nicht kompliziert zu sein. Wenn Sie glauben, dass die Eingabe einfacher Anweisungen in Ordnung ist, können Sie sich entspannt zurücklehnen und die wichtige Aufgabe hinter sich lassen Berichte an ChatGPT schreiben Sie liegen völlig falsch.
Tatsächlich können beim Generieren spezifischer Inhalte von ChatGPT endlose Probleme auftreten. Das typischste Beispiel ist der vielfach kritisierte direkte Betrug wie „ernsthaft Unsinn reden“ und „Dokumentenfälschung“.
Dieses Problem wird besonders deutlich, wenn wir Inhalte wie Kapitel 5 „Governance und Überwachung von KI-Risiken“ schreiben, die auf strengen rechtlichen und politischen Dokumenten basieren. Während des Schulungsprozesses sind wir auf verschiedene Arten von Fehlern gestoßen: Schreiben nicht existierender Namen von Richtliniendokumenten, Schreiben falscher Richtlinienverkündungsbehörden, Schreiben falscher Richtlinienverkündungsjahre, Verkünden nicht existierender Regierungsmaßnahmen usw.
Während des Trainingsprozesses einiger US-Politikinhalte machte ChatGPT beispielsweise einen offensichtlichen Fehler in der ersten 4-Punkte-Antwort: Er fabrizierte das falsche Regierungsverhalten der US-Regierung bei der Einrichtung eines KI-Politikbüros.
Wir haben Vorschläge zur Verbesserung der generierten Ergebnisse gemacht, einschließlich der Frage nach der Gründungsbehörde der falschen Information „Die US-Regierung hat ein AI Policy Office eingerichtet“.
Bedauerlicherweise hat ChatGPT den Fehler im Antwortergebnis nicht nur nicht erkannt, sondern stattdessen den Fehler gemacht und weiterhin Inhalte basierend auf der Frage erstellt und generiert.
Als weiteres Beispiel kann man sagen, dass es sich bei den folgenden Antworten um eine große Sammlung falscher Inhalte handelt, die von KI generiert wurden. Nur 4 Fragen enthielten 3 große Fehler. Der lächerlichste Fehler war zweifellos der direkte Verweis auf „NISTIR 8272: Impact Analysis Tool for Interdependent Network Supply Chain Risks“, eine umfassende Analyse von Netzwerk-Lieferkettenrisiken, die ersetzt wurden. und das Dokument mit der Nummer NISTIR 8272 erhielt den nicht existierenden Namen „NISTIR 8272: Artificial Intelligence Risk Management Framework“.
Die einzig richtige Antwort unter den vier Punkten besteht darin, den Fehler zuzugeben, der durch den in der vorherigen Frage generierten Inhalt verursacht wurde. Es ist ersichtlich, dass ChatGPT zwar eine gute Einstellung zum Eingeständnis von Fehlern hat, sich jedoch an den Umsetzungsgrundsatz hält, nach wiederholten Ermahnungen niemals zu korrigieren. Die Genauigkeit der Ausgabeergebnisse von ChatGPT für schwerwiegende Regierungsmaßnahmen, Richtlinien und Systeme, Dokumente und andere Inhalte ist sehr gering . Benutzer müssen den generierten Inhalt sorgfältig überprüfen und Korrektur lesen.
Das Bild unten ist ein weiteres repräsentatives Beispiel für einen Fehler. Das Bild links ist eine Zusammenfassung der von ChatGPT erstellten KI-Sicherheitsrichtlinien auf der linken Seite wird hauptsächlich auf „KI“ und nicht auf „Sicherheit“ eingegangen.
Wir haben eine Anweisung zum „Ändern der Betonung“ zu den oben genannten Problemen herausgegeben, wie rechts gezeigt. Offensichtlich hat die überarbeitete Antwort von ChatGPT die Dokumente der EU-Regierung mit Schwerpunkt auf „KI-Sicherheit“ nicht wie vorgesehen neu geordnet.
Im Gegenteil, ChatGPT kopierte alle Dokumentnamen und Regierungsmaßnahmen, die in der ursprünglichen Antwort enthalten waren, und ersetzte direkt den Inhalt und die Ziele des Dokuments, einschließlich der Änderung des Ziels der „Europäischen Strategie für künstliche Intelligenz“ von „Stärkung der KI“. Forschung... ...“ wurde durch „Stärkung der KI-Sicherheitsforschung…“ ersetzt und der Zweck der EU-Einrichtung von ELLIS wurde von „Förderung der KI-Forschung“ zu „Förderung der KI-Sicherheitsforschung“ usw. ersetzt.
Dies offenbart ein weiteres schwerwiegendes Problem von ChatGPT: ChatGPT kann Informationen direkt manipulieren, um den Eindruck zu erwecken, dass die generierten Ergebnisse den Anforderungen des Problems entsprechen.
Mit Ausnahme der oben genannten sachlichen Fehler müssen wir uns während der Inhaltsüberprüfung und des Korrekturlesens darauf konzentrieren, zu prüfen, ob es Überschneidungen zwischen Absätzen gibt. Am Beispiel der Datenvergiftung in Unterabschnitt 4.1 wird das Grundkonzept der Datenvergiftung gleichzeitig in der Einleitung und in Abschnitt 4.1.1 erwähnt.
Anhand der obigen Beispiele machen wir eine mutige Vermutung über die Betriebsregeln von ChatGPT: Das heißt, die von ChatGPT generierten Antworten werden durch verstreute kleine Aufgaben zusammengefügt. Diese Aufgaben sind relativ unabhängig und haben keinen logischen Zusammenhang.
Wenn der Einführungsteil der Datenvergiftung als eine kleine Generationsaufgabe betrachtet wird, entspricht das Ausgabeergebnis von ChatGPT den grundlegenden Standards einer qualifizierten Einführung: (Erklärung des Konzepts der Datenvergiftung – Einführung in den folgenden Inhalt). Wenn Teil 4.1.1 als kleine Generierungsaufgabe betrachtet wird, treten in ähnlicher Weise keine offensichtlichen Fehler in den Ausgabeergebnissen auf.
Als wir ChatGPT deutlich auf den überschneidenden Inhalt hingewiesen haben, hat ChatGPT die Änderungsanweisungen schnell verstanden und die Antwort wie unten gezeigt erneut vervollständigt.
Natürlich hat ChatGPT die Fähigkeit, „überlappende Inhalte zu identifizieren“, aber was ihm fehlt, ist das Bewusstsein, dass „es nicht viele überlappende Inhalte zwischen Absätzen geben sollte“. Es ist ersichtlich, dass die gitterbasierte Korrelationsanalysefähigkeit des menschlichen Gehirns der Teil ist, der für die KI am schwierigsten zu imitieren und zu ersetzen ist.
Interessanterweise wurden die restlichen Zahlen nicht entsprechend angepasst, als ChatGPT den Inhalt von 4.1.1 in die Einleitung aufnahm, und als wir auf die Probleme mit ChatGPT hinwiesen, fand das Modell den Fehler effektiv und führte die Zahlenänderung genau durch vollendet.
Diese Art von Nummerierungsfehler hat keinen Einfluss auf unsere tatsächliche Nutzung von ChatGPT, kann aber als gutes Beispiel zur Bestätigung unserer Hypothese über den verteilten Task-Splicing-Mechanismus von ChatGPT dienen.
Wir haben auch versucht, das Modell zu leiten, um die Konnektivität von Absätzen zu verbessern, und haben Feedback-Ergebnisse im Format „Nach XXX müssen Unternehmen auf XXX achten“ erhalten. Offensichtlich kann diese mechanische Art des Hinzufügens einer Reihenfolge den inhaltlichen Zusammenhang zwischen Absätzen nicht wirklich widerspiegeln.
Zu diesem Zeitpunkt haben wir uns eine ungefähre Vorstellung von den Einschränkungen und Obergrenzen der Möglichkeiten von ChatGPT gemacht. Vereinfacht ausgedrückt kann ChatGPT Phänomene, Fakten, Meinungen usw. schnell in großen Mengen zusammenfassen und verfügt außerdem über bestimmte logische Urteilsfähigkeiten.
Da das logische Urteil von ChatGPT jedoch hauptsächlich auf sprachlichen Statistiken und nicht auf kognitiven Fähigkeiten beruht, leidet es oft unter logischen Fehlern, struktureller Verwirrung und sogar der Umkehrung von Ursache und Wirkung und kann die tiefe und ursprüngliche Natur von Informationen nicht wirklich erforschen.
Das menschliche Gehirn ist für die Durchführung übergeordneter Analysen und Zusammenfassungen wie Genauigkeitsprüfung, Gemeinsamkeitsinduktion und Trendzusammenfassung der von ChatGPT bereitgestellten Basisinformationen verantwortlich.
Nachdem die Rollenverteilung zwischen Menschen und ChatGPT geklärt ist, ist es nicht schwer, einen Weg zu finden, den Einsatz von ChatGPT zu maximieren, um die Berichtserstellung zu optimieren, den Berichtsinhalt zu optimieren und dann die Arbeit zu stärken: Verwenden Sie das menschliche Gehirn, um eine Kette von zu erstellen Informationsanforderungen, die zum Erreichen des Ziels erforderlich sind, und Lassen Sie die Intuition so weit wie möglich beiseite und beschreiben Sie die Informationsanforderungen in der Kette konkret.
Nehmen Sie den Bericht 4.1.1 als Beispiel. Als wir von dem Bericht eine detaillierte Beschreibung des Inhalts der Datenvergiftung verlangten, haben wir die Richtung des Informationsbedarfs festgelegt, indem wir nach konkreten Beschreibungen wie den Ursachen gefragt und ChatGPT gebeten haben, Beispiele zu nennen .
Im Allgemeinen gab uns ChatGPT eine zufriedenstellende Antwort. Obwohl der Schulungsprozess mit vielen Schwierigkeiten und Unsicherheiten konfrontiert war, war die Fähigkeit von ChatGPT, Anweisungen zu verstehen und auszuführen.
FreeBuf Consulting ist davon überzeugt, dass ChatGPT als Ausgangspunkt für Themenanalysen und akademische Forschung genutzt werden kann und Menschen die zusammenfassenden Informationen liefert, die sie zum Erreichen ihrer Ziele benötigen. Durch die riesige Schulungsdatenbank können akademische Forscher schnell den Einstiegspunkt des Berichts bestimmen, was den Prozess der vorläufigen Desktop-Untersuchung, Datensortierung und Überprüfung des Berichts erheblich verkürzt und Referenzideen für nachfolgende Forschungsarbeiten liefert.
Allerdings liegen auch die Einschränkungen und Obergrenzen der Möglichkeiten von ChatGPT auf der Hand. Da der Ausgabeinhalt von ChatGPT hauptsächlich auf der statistischen Verteilung kontextbezogener Wörter und nicht auf strengen Fakten basiert, ist die Authentizität der von ChatGPT generierten Ergebnisse häufig nicht garantiert, und es kommt häufig sogar zu logischen Fehlern, strukturellen Verwirrungen und Umkehrungen der Ursache Wirkung.
Darüber hinaus kann ChatGPT aufgrund des Fehlens nichtlinearer Korrelationsanalysefunktionen die inhaltlichen Zusammenhänge zwischen Absätzen nicht wirklich ermitteln, wodurch eine unüberwindbare Lücke zwischen ihm und dem menschlichen Gehirn entsteht. Analyseverhalten höherer Ordnung wie Genauigkeitsprüfung, Gemeinsamkeitsinduktion und Trendzusammenfassung erfordern immer noch menschliche Kraft.
Das obige ist der detaillierte Inhalt vonIn diesem Artikel erfahren Sie, wie Sie mit ChatGPT schnell einen Bericht schreiben. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
