Mit der Gründung der Artificial Intelligence Security Working Group kündigte MLCommons einen wichtigen Schritt an

Die Benchmark-Organisation für künstliche Intelligenz MLCommons gab die Gründung der Arbeitsgruppe Artificial Intelligence Safety (AIS: AI Safety) bekannt. AIS wird aus vielen Mitwirkenden eine Plattform und eine Testbibliothek entwickeln, um KI-Sicherheitsbenchmarks für verschiedene Anwendungsfälle zu unterstützen.

KI-Systeme bieten das Potenzial, der Gesellschaft enorme Vorteile zu bieten, sind jedoch nicht ohne Risiken wie Schädlichkeit, Fehlinformationen und Voreingenommenheit. Wie bei anderen komplexen Technologien benötigt die Gesellschaft branchenübliche Sicherheitstests, um die Vorteile zu nutzen und gleichzeitig die Risiken zu minimieren.

Die neue Plattform ermöglicht es Benutzern, Benchmarks aus einer Testbibliothek auszuwählen und die Ergebnisse dieser Benchmarks in nützlichen und leicht verständlichen Bewertungen zusammenzufassen. Dies ähnelt Standards in anderen Branchen wie Automotive Safety Test Ratings und Energy Star Ratings

Eine Priorität dieser Bemühungen besteht darin, die schnelle Entwicklung strengerer und zuverlässigerer KI-Sicherheitstesttechnologien zu unterstützen. Die AIS-Arbeitsgruppe wird das technische und betriebliche Fachwissen ihrer Mitglieder und der größeren KI-Community nutzen, um bei der Führung und Entwicklung von KI-Sicherheits-Basistechnologien zu helfen.

Joaquin Vanschoren, außerordentlicher Professor für maschinelles Lernen (ML) an der Technischen Universität Eindhoven, sagte: „Die offene und dynamische Natur der Sicherheitsmaßstäbe, die von der breiten KI-Community entwickelt werden, schafft echte Anreize für die Festlegung und Erreichung gemeinsamer Ziele. „Wenn jemand ein ungelöstes Sicherheitsproblem sieht, kann er sich neue Tests einfallen lassen. Bei uns kommen einige der klügsten Leute der Welt zusammen, um sie tatsächlich zu lösen, und durch die Verwendung des Benchmarks erhalten wir ein klares Bild davon, was künstlich ist.“ „Intelligente Modelle lösen Sicherheitsprobleme am besten Sprachmodelle (HELM), basierend auf der Pionierarbeit von Forschern. Neben dem Aufbau und der Integration vieler sicherheitsrelevanter Tests in das HELM-Framework hofft die Arbeitsgruppe auch, dass einige Unternehmen ihre internen KI-Sicherheitstests für proprietäre Zwecke veröffentlichen und mit der MLCommons-Community teilen, um das Innovationstempo zu beschleunigen

Percy Liang, Direktor des Basic Model Research Center, sagte: „Wir entwickeln HELM, ein modulares Bewertungsframework, seit etwa zwei Jahren. Ich freue mich sehr über die Zusammenarbeit mit MLCommons, um HELM für die Sicherheitsbewertung künstlicher Intelligenz zu verwenden.“ Das ist meine Meinung 7 Dieses Thema ist mit dem Aufkommen leistungsstarker Basismodelle äußerst dringlich geworden. „Die AIS-Arbeitsgruppe ist davon überzeugt, dass Standard-Sicherheitsbenchmarks für künstliche Intelligenz mit zunehmender Reife zur Grundlage für Sicherheitsmethoden für künstliche Intelligenz werden.“ Dies steht im Einklang mit einer verantwortungsvollen KI-Technologieentwicklung und risikobasierten politischen Rahmenwerken, wie den freiwilligen Selbstverpflichtungen mehrerer Technologieunternehmen gegenüber dem Weißen Haus der USA im Juli 2023 zu Sicherheit, Schutz und Vertrauen, dem NIST-Risikomanagement-Rahmenwerk für künstliche Intelligenz

und das kommende EU-Gesetz zur künstlichen Intelligenz

.

MLCommons setzt sich dafür ein, ein breites Spektrum von Interessengruppen in Industrie und Wissenschaft dabei zu unterstützen, gemeinsam gemeinsame Daten, Tools und Benchmarks zu entwickeln, um Systeme für künstliche Intelligenz effizienter aufzubauen und zu testen. David Kanter, Geschäftsführer von MLCommons, sagte: „Wir freuen uns sehr auf die Zusammenarbeit mit unseren Mitgliedern. Nächstes Jahr werden wir uns auf die Entwicklung und Förderung von Sicherheits-Benchmarks für künstliche Intelligenz konzentrieren, beginnend mit Open-Source-Modellen, mit dem Ziel, diese Benchmarks weithin bekannt zu machen.“ Anwendbar nach erster Methodenvalidierung. OpenAI, Qualcomm und die Wissenschaftler Joaquin Vanstoren von der Technischen Universität Eindhoven, Percy Liang von der Stanford University und Bo Li von der University of Chicago. An der Arbeitsgruppe können Forscher und Ingenieure aus Wissenschaft und Industrie sowie Fachexperten aus der Zivilgesellschaft und dem öffentlichen Sektor teilnehmen. Klicken Sie hier, um den Originalartikel zu lesen und zu erfahren, wie Sie an der AIS-Arbeitsgruppe teilnehmen können. Über MLCommons

MLCommons ist eine weltweit führende Organisation, die sich der Entwicklung von Benchmarks für künstliche Intelligenz widmet. Es handelt sich um ein offenes Engineering-Konsortium, dessen Ziel es ist, allen durch den Einsatz von Benchmarks und Daten dabei zu helfen, maschinelles Lernen zu verbessern. Die Ursprünge von MLCommons lassen sich auf den MLPerf-Benchmark von 2018 zurückführen, der sich schnell zu einer Reihe von Branchenmetriken entwickelte, die zur Messung der Leistung maschinellen Lernens und zur Erhöhung der Transparenz der Technologie maschinellen Lernens verwendet werden. MLCommons arbeitet mit mehr als 125 Mitgliedern, globalen Technologieanbietern, Akademikern und Forschern zusammen, die sich auf die gemeinsame Entwicklung von Tools für die gesamte Branche des maschinellen Lernens durch Benchmarks und Metriken, öffentliche Datensätze und Best Practices konzentrieren

Das obige ist der detaillierte Inhalt vonMit der Gründung der Artificial Intelligence Security Working Group kündigte MLCommons einen wichtigen Schritt an. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!