Insgesamt40 bezogener Inhalt gefunden
Das GPT-ähnliche Modelltraining wird um 26,5 % beschleunigt. Tsinghua Zhu Jun und andere verwenden den INT4-Algorithmus, um das Training neuronaler Netzwerke zu beschleunigen
Artikeleinführung:Wir wissen, dass die Quantisierung von Aktivierungen, Gewichten und Gradienten in 4-Bit sehr wertvoll ist, um das Training neuronaler Netze zu beschleunigen. Bestehende 4-Bit-Trainingsmethoden erfordern jedoch benutzerdefinierte Zahlenformate, die von moderner Hardware nicht unterstützt werden. In diesem Artikel schlugen Tsinghua Zhu Jun und andere eine Transformer-Trainingsmethode vor, die den INT4-Algorithmus verwendet, um alle Matrixmultiplikationen zu implementieren. Ob das Modell schnell trainiert wird oder nicht, hängt eng mit den Anforderungen an Aktivierungswerte, Gewichte, Gradienten und anderen Faktoren zusammen. Das Training neuronaler Netze erfordert einen gewissen Rechenaufwand, und die Verwendung von Algorithmen mit geringer Präzision (Vollquantisierungstraining oder FQT-Training) soll die Rechen- und Speichereffizienz verbessern. FQT fügt dem ursprünglichen Berechnungsgraphen mit voller Präzision Quantisierer und Dequantisierer hinzu und ersetzt teure Gleitkommaoperationen durch billige Gleitkommaoperationen mit geringer Genauigkeit.
2023-07-02
Kommentar 0
466
MIT und Google erforschen gemeinsam die neue Technologie StableRep: Verwendung synthetischer Bilder zum Trainieren von KI-Bildmodellen
Artikeleinführung:Highlights: Forscher schlagen eine neue Technologie namens StableRep vor, die von künstlicher Intelligenz generierte Bilder verwendet, um hochdetaillierte Bildmodelle mit künstlicher Intelligenz zu trainieren. StableRep wird mithilfe von Millionen beschrifteter synthetischer Bilder trainiert und verwendet „mehrfache „Positive Contrast Learning Method““, um den Lernprozess zu verbessern und wenden Sie es auf das Open-Source-Text-zu-Bild-Modell StableDiffusion-⚙️Obwohl StableRep bei der ImageNet-Klassifizierung erhebliche Erfolge erzielt hat, ist es langsam, Bilder zu generieren, und es gibt eine semantische Diskrepanz zwischen Textaufforderungen und generierten Bildern zwischen ihnen. Startseite des Webmasters (ChinaZ.com) Neuigkeiten vom 28. November: Forscher vom MIT und Google
2023-11-29
Kommentar 0
513
So implementieren Sie verteilte Algorithmen und Modelltraining in PHP-Microservices
Artikeleinführung:So implementieren Sie verteilte Algorithmen und Modelltraining in PHP-Microservices. Einführung: Mit der rasanten Entwicklung von Cloud Computing und Big-Data-Technologie steigt die Nachfrage nach Datenverarbeitung und Modelltraining. Verteilte Algorithmen und Modelltraining sind der Schlüssel zum Erreichen von Effizienz, Geschwindigkeit und Skalierbarkeit. In diesem Artikel wird die Implementierung verteilter Algorithmen und Modelltrainings in PHP-Microservices vorgestellt und einige spezifische Codebeispiele bereitgestellt. 1. Was ist verteiltes Algorithmus- und Modelltraining? Verteiltes Algorithmus- und Modelltraining ist eine Technologie, die mehrere Maschinen oder Serverressourcen verwendet, um Datenverarbeitung und Modelltraining gleichzeitig durchzuführen.
2023-09-25
Kommentar 0
951
Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.
Artikeleinführung:In jüngster Zeit haben Diffusionsmodelle GAN- und autoregressive Modelle überholt und sind aufgrund ihrer hervorragenden Leistung zur gängigen Wahl für generative Modelle geworden. Auf Diffusionsmodellen basierende Text-zu-Bild-Generierungsmodelle (wie SD, SDXL, Midjourney und Imagen) haben die erstaunliche Fähigkeit bewiesen, qualitativ hochwertige Bilder zu erzeugen. Normalerweise werden diese Modelle mit einer bestimmten Auflösung trainiert, um eine effiziente Verarbeitung und ein genaues Modelltraining auf vorhandener Hardware sicherzustellen. Abbildung 1: Vergleich der Verwendung verschiedener Methoden zur Generierung von 2048×2048-Bildern unter SDXL1.0. [1] In diesen Diffusionsmodellen kommt es häufig zu Musterduplikationen und schwerwiegenden Artefakten. Es ist beispielsweise ganz links in Abbildung 1 dargestellt. Diese Probleme sind über die Schulungslösung hinaus besonders akut.
2024-04-08
Kommentar
975
Ohne nachgelagertes Training verbessert Tip-Adapter die Genauigkeit der CLIP-Bildklassifizierung erheblich
Artikeleinführung:Papier-Link: https://arxiv.org/pdf/2207.09519.pdf Code-Link: https://github.com/gaopengcuhk/Tip-Adapter 1. Forschungshintergrund Das Contrastive Image Language Pre-Training Model (CLIP) hat kürzlich starke Fähigkeiten zur Übertragung visueller Domänen gezeigt und kann eine Zero-Shot-Bilderkennung für einen neuen Downstream-Datensatz durchführen. Um die Migrationsleistung von CLIP weiter zu verbessern, verwenden bestehende Methoden wenige Einstellungen wie CoOp und CLIP-Adapter, die eine kleine Menge an Trainingsdaten für nachgelagerte Datensätze bereitstellen, wodurch CLIP entsteht
2023-04-12
Kommentar 0
712
Eine Anleitung zum Trainieren von Bildklassifizierungsmodellen mit TensorFlow
Artikeleinführung:Übersetzer |. Rezensiert von Chen Jun |. Wie wir alle wissen, lernen Menschen schon in jungen Jahren, die Dinge, die sie sehen, zu identifizieren und zu kennzeichnen. Heutzutage sind Computer dank der kontinuierlichen Iteration von maschinellen Lern- und Deep-Learning-Algorithmen in der Lage, aufgenommene Bilder in großem Maßstab mit sehr hoher Genauigkeit zu klassifizieren. Zu den Anwendungsszenarien solcher fortschrittlichen Algorithmen gehören derzeit: die Interpretation von Lungenscanbildern, um festzustellen, ob sie gesund sind, die Durchführung einer Gesichtserkennung über mobile Geräte und die Unterscheidung verschiedener Arten von Konsumgütern für Einzelhändler. Im Folgenden werde ich mit Ihnen eine Anwendung von Computer Vision – Bildklassifizierung – besprechen und Schritt für Schritt zeigen, wie Sie TensorFlow verwenden, um ein Modell anhand eines kleinen Bilddatensatzes zu trainieren.
2023-04-13
Kommentar 0
794
Mit kleinen Tricks zum Ausgraben des Diffusionsmodells sind die generierten Bilder fast Nachbildungen der ursprünglichen Trainingsdaten, und die Privatsphäre steht kurz vor der Offenlegung.
Artikeleinführung:Rauschunterdrückungs-Diffusionsmodelle sind eine neue Klasse generativer neuronaler Netze, die durch einen iterativen Rauschunterdrückungsprozess Bilder aus einer Trainingsverteilung generieren. Diese Art von Diffusionsmodell erzeugt Proben von höherer Qualität und ist einfacher zu skalieren und zu kontrollieren als frühere Methoden wie GANs und VAEs. Dadurch können sie nach rasanter Entwicklung bereits hochauflösende Bilder erzeugen und es besteht ein großes öffentliches Interesse an großen Modellen wie dem DALL-E 2. Das Schöne an generativen Diffusionsmodellen liegt in ihrer Fähigkeit, neue Bilder zu synthetisieren, die sich oberflächlich betrachtet von allem im Trainingssatz unterscheiden. Tatsächlich haben umfangreiche Schulungsbemühungen in der Vergangenheit nicht ergeben, dass eine Überanpassung zu einem Problem werden wird. Forscher in datenschutzrelevanten Bereichen haben sogar vorgeschlagen, dass Diffusionsmodelle zum Schutz der Privatsphäre während der gesamten Generation verwendet werden können.
2023-04-12
Kommentar 0
612
Es ist beängstigend, darüber nachzudenken! PimEyes stiehlt Fotos von Toten, um den Gesichtserkennungsalgorithmus zu trainieren
Artikeleinführung:Wenn Sie auf PimEyes nach Fotos von sich selbst suchen, werden Ihnen viele Fotos von Ihnen und Menschen angezeigt, die wie Sie aussehen. Wenn dieses Tool den Algorithmus trainiert, verwendet es jedoch keine vom Benutzer autorisierten Fotos, sondern basiert auf Fotos von verschiedenen Plattformen im gesamten Netzwerk, um eine Gesichtserkennung durchzuführen. Nachdem Ihr Foto erkannt wurde, werden in den Suchergebnissen häufig Screenshots von Videos von vielen Websites angezeigt. Darüber hinaus wurde festgestellt, dass die Website Fotos von Toten gestohlen hat, um ihre Algorithmen zu trainieren. Niemand bleibt verschont. Einige Menschen sind tot, aber im Internet leben sie noch. CherScarlett ist Softwareentwicklerin und Autorin. Kürzlich entdeckte sie plötzlich, dass im Internet Fotos ihrer Mutter, ihrer vor langer Zeit verstorbenen Ururgroßmutter und ihrer im Alter von 18 Jahren verstorbenen Schwester erschienen
2023-04-15
Kommentar 0
851
DeepMind hat die FunSearch-Trainingsmethode veröffentlicht, die es KI-Modellen ermöglicht, diskrete mathematische Berechnungen durchzuführen
Artikeleinführung:Google DeepMind hat am 15. Dezember eine Modelltrainingsmethode namens „FunSearch“ angekündigt. Es wird gesagt, dass dieses Modell eine Reihe „komplexer Probleme im Zusammenhang mit Mathematik und Informatik“ lösen kann, darunter „Probleme der oberen Ebene“ und „Bin-Packing-Probleme“. Der Inhalt, der neu geschrieben werden muss, ist: ▲Bildquelle Google DeepMind (dasselbe unten) FunSearch Die Modelltrainingsmethode soll ein System namens „Evaluator“ eingeführt haben, mit dem die vom KI-Modell ausgegebenen kreativen Problemlösungsmethoden bewertet werden. Durch wiederholte Iterationen kann diese Methode ein KI-Modell mit stärkeren mathematischen Fähigkeiten trainieren. GoogleDeepMind nutzte das PaLM2-Modell zum Testen. Die Forscher richteten einen dedizierten Codepool ein und verwendeten den Code als Modell.
2023-12-15
Kommentar 0
348
Wie trainiere ich Algorithmen für maschinelles Lernen und neuronale Netze in PHP?
Artikeleinführung:Mit dem Aufkommen des Internets und der Big-Data-Ära ist maschinelles Lernen zu einem wichtigen Zweig der Computerbranche geworden. PHP ist als beliebte Webentwicklungssprache keine Ausnahme. In PHP sind viele gängige Algorithmen für maschinelles Lernen und Trainingsbibliotheken für neuronale Netze verfügbar. In diesem Artikel stellen wir vor, wie man Algorithmen für maschinelles Lernen und das Training neuronaler Netze in PHP implementiert. 1. Was ist maschinelles Lernen? Maschinelles Lernen bedeutet, dass Computer lernen, ohne explizite Programmieranweisungen autonome Entscheidungen und Handlungen zu treffen. Maschinelles Lernen umfasst
2023-05-21
Kommentar 0
915
Konzepte des maschinellen Lernens: Algorithmen, Training, Modelle und Koeffizienten
Artikeleinführung:Maschinelles Lernen ist eine Methode, mit der Computer aus Daten lernen können, ohne dass sie explizit programmiert werden müssen. Es verwendet Algorithmen, um Muster in Daten zu analysieren und zu interpretieren und dann ohne menschliches Eingreifen Vorhersagen oder Entscheidungen zu treffen. Um das Konzept des maschinellen Lernens zu verstehen, müssen grundlegende Konzepte wie Algorithmen, Training, Modelle und Koeffizienten beherrscht werden. Durch maschinelles Lernen können Computer aus großen Datenmengen lernen, um ihre Leistung und Genauigkeit zu verbessern. Diese Methode ist in vielen Bereichen weit verbreitet, beispielsweise in der Verarbeitung natürlicher Sprache, Bilderkennung und Datenanalyse. Die Beherrschung der Kenntnisse des maschinellen Lernens wird uns mehr Chancen und Herausforderungen bieten. Algorithmus Ein Algorithmus beim maschinellen Lernen ist eine Reihe von Anweisungen oder Verfahren, die zur Lösung eines Problems oder zur Erreichung einer bestimmten Aufgabe verwendet werden. Es handelt sich um einen schrittweisen Prozess, der dabei hilft, die Erwartungen zu erfüllen
2024-01-22
Kommentar 0
353
Multimodalität wieder vereint! Meta veröffentlicht selbstüberwachten Algorithmus data2vec 2.0: Trainingseffizienz um das bis zu 16-fache erhöht!
Artikeleinführung:Die meisten Durchbrüche auf dem Gebiet der künstlichen Intelligenz wurden in den letzten Jahren durch selbstüberwachtes Lernen vorangetrieben, beispielsweise durch das in BERT vorgeschlagene MLM (Masked Language Model), bei dem einige Wörter im Text maskiert und dann neu vorhergesagt werden. Zum Trainieren des Modells können auch umfangreiche unbeschriftete Textdaten verwendet werden. Seitdem hat eine neue Ära groß angelegter vorab trainierter Modelle begonnen. Selbstüberwachte Lernalgorithmen weisen jedoch auch offensichtliche Einschränkungen auf. Sie eignen sich normalerweise nur für Daten in einer einzigen Modalität (z. B. Bilder, Text, Sprache usw.) und erfordern viel Rechenleistung, um aus großen Datenmengen zu lernen. Im Gegensatz dazu lernt der Mensch deutlich effizienter als aktuelle KI-Modelle und kann aus unterschiedlichen Datentypen lernen. Im Januar 2022 veröffentlichte MetaAI das selbstüberwachte Lernrahmenwerk data2
2023-04-14
Kommentar 0
739
Bildklassifizierungsmethode basierend auf einem Algorithmus für maschinelles Lernen
Artikeleinführung:Bekleidungsdatensatz Der Bekleidungsdatensatz ist dem MNIST-Datensatz sehr ähnlich. Wenn Sie ihn benötigen, können Sie sich das Tutorial „MNIST-Datensatz“ ansehen. Er enthält 70.000 Graustufenbilder, jedes Bild ist 28 x 28 Pixel groß. Der hier eingestellte Modedatensatz verwendet 60.000 Bilder für das Training und 10.000 Bilder für die Auswertung, die direkt mit Keras geladen werden können. fashion_mnist=tf.keras.datasets.fashion_mnist(train_images,train_labels),(test_images,test_labels)=fashion_mnist.load_data()
2023-05-08
Kommentar 0
1039
Erkunden Sie die Algorithmen und Prinzipien von Gestenerkennungsmodellen (erstellen Sie ein einfaches Trainingsmodell für die Gestenerkennung in Python).
Artikeleinführung:Die Gestenerkennung ist ein wichtiges Forschungsgebiet im Bereich Computer Vision. Sein Zweck besteht darin, die Bedeutung von Gesten durch die Analyse menschlicher Handbewegungen in Videostreams oder Bildsequenzen zu bestimmen. Die Gestenerkennung hat ein breites Anwendungsspektrum, wie z. B. gestengesteuerte Smart Homes, virtuelle Realität und Spiele, Sicherheitsüberwachung und andere Bereiche. In diesem Artikel werden die in Gestenerkennungsmodellen verwendeten Algorithmen und Prinzipien vorgestellt und mithilfe von Python ein einfaches Trainingsmodell für die Gestenerkennung erstellt. Von Gestenerkennungsmodellen verwendete Algorithmen und Prinzipien Die von Gestenerkennungsmodellen verwendeten Algorithmen und Prinzipien sind vielfältig, darunter Modelle, die auf Deep Learning, traditionellen Modellen des maschinellen Lernens, regelbasierten Methoden und traditionellen Bildverarbeitungsmethoden basieren. Die Prinzipien und Eigenschaften dieser Methoden werden im Folgenden vorgestellt. 1. Modellieren Sie Deep Learning basierend auf Deep Learning
2024-01-24
Kommentar 0
511
Eine weitere Revolution im Reinforcement Learning! DeepMind schlägt eine „Algorithmus-Destillation' vor: einen erforschbaren, vorab trainierten Reinforcement-Learning-Transformer
Artikeleinführung:Bei aktuellen Sequenzmodellierungsaufgaben kann Transformer als die leistungsstärkste neuronale Netzwerkarchitektur bezeichnet werden, und das vorab trainierte Transformer-Modell kann Eingabeaufforderungen als Bedingungen oder In-Context-Lernen verwenden, um sich an verschiedene nachgelagerte Aufgaben anzupassen. Die Generalisierungsfähigkeit groß angelegter vorab trainierter Transformer-Modelle wurde in mehreren Bereichen überprüft, z. B. Textvervollständigung, Sprachverständnis, Bilderzeugung usw. Seit letztem Jahr gibt es relevante Arbeiten, die belegen, dass das Modell durch die Behandlung von Offline-Reinforcement-Learning (Offline-RL) als Sequenzvorhersageproblem Richtlinien aus Offline-Daten lernen kann. Aber aktuelle Ansätze lernen Richtlinien entweder aus Daten, die kein Lernen enthalten
2023-04-12
Kommentar 0
1296
So implementieren Sie einen Bildkomprimierungsalgorithmus in C#
Artikeleinführung:So implementieren Sie den Bildkomprimierungsalgorithmus in C# Zusammenfassung: Die Bildkomprimierung ist eine wichtige Forschungsrichtung im Bereich der Bildverarbeitung. In diesem Artikel wird der Algorithmus zur Implementierung der Bildkomprimierung in C# vorgestellt und entsprechende Codebeispiele gegeben. Einleitung: Mit der weit verbreiteten Anwendung digitaler Bilder ist die Bildkomprimierung zu einem wichtigen Bestandteil der Bildverarbeitung geworden. Durch die Komprimierung können Speicherplatz und Übertragungsbandbreite reduziert und die Effizienz der Bildverarbeitung verbessert werden. In der Sprache C# können wir Bilder mithilfe verschiedener Bildkomprimierungsalgorithmen komprimieren. In diesem Artikel werden zwei gängige Bildkomprimierungsalgorithmen vorgestellt:
2023-09-19
Kommentar 0
548
Einführung in Bildverarbeitungsalgorithmen in der Java-Sprache
Artikeleinführung:Einführung in Bildverarbeitungsalgorithmen in der Java-Sprache Mit dem Aufkommen des digitalen Zeitalters ist die Bildverarbeitung zu einem wichtigen Zweig der Informatik geworden. In Computern werden Bilder in digitaler Form gespeichert, und die Bildverarbeitung verändert die Qualität und das Erscheinungsbild des Bildes, indem sie eine Reihe algorithmischer Operationen an diesen Zahlen durchführt. Als plattformübergreifende Programmiersprache verfügt die Java-Sprache über umfangreiche Bildverarbeitungsbibliotheken und leistungsstarke Algorithmusunterstützung, was sie zur ersten Wahl vieler Entwickler macht. In diesem Artikel werden häufig verwendete Bildverarbeitungsalgorithmen in der Java-Sprache vorgestellt
2023-06-10
Kommentar 0
1008
Hochgeschwindigkeits-Bildabrufalgorithmus und seine Implementierungsmethode in PHP
Artikeleinführung:Hochgeschwindigkeits-Bildabrufalgorithmus und seine Implementierungsmethode in PHP Mit der weit verbreiteten Anwendung digitaler Bilder hat die Bildabruftechnologie immer mehr Aufmerksamkeit auf sich gezogen. Der Hochgeschwindigkeits-Bildabrufalgorithmus ist eine wichtige Methode beim Bildabruf, mit der in umfangreichen Bilddaten schnell Bilder gefunden werden können, die dem Abfragebild ähneln. In diesem Artikel werden der Hochgeschwindigkeits-Bildabrufalgorithmus und seine Implementierungsmethode in PHP vorgestellt. 1. Prinzip des Hochgeschwindigkeits-Bildabrufalgorithmus Die Kernidee des Hochgeschwindigkeits-Bildabrufalgorithmus besteht darin, Bilder in Merkmalsvektoren umzuwandeln und dann die Ähnlichkeit zwischen Merkmalsvektoren zu berechnen, um das Abfragebild zu finden
2023-06-22
Kommentar 0
1049
Verwendung von Bildverarbeitungsalgorithmen in C++
Artikeleinführung:Wie man Bildverarbeitungsalgorithmen in C++ verwendet: Praktische Tipps und Codebeispiele Einführung: Die Bildverarbeitung ist eine der wichtigsten Forschungsrichtungen im Bereich der Informatik und Technik. Sie umfasst hauptsächlich die Erfassung, Verarbeitung und Analyse von Bildern. Als leistungsstarke und weit verbreitete Programmiersprache wird C++ häufig zur Implementierung von Bildverarbeitungsalgorithmen verwendet. In diesem Artikel wird die Verwendung von Bildverarbeitungsalgorithmen in C++ vorgestellt und spezifische Codebeispiele bereitgestellt, um den Lesern zu helfen, diese Algorithmen besser zu verstehen und anzuwenden. 1. Lesen und Speichern von Bildern Vor der Bildverarbeitung ist der erste Schritt das Lesen
2023-09-19
Kommentar 0
375
So optimieren Sie die Geschwindigkeit des Bildfilteralgorithmus in der C++-Entwicklung
Artikeleinführung:In der heutigen Zeit der rasanten Entwicklung der Computertechnologie spielt die Bildverarbeitungstechnologie in verschiedenen Bereichen eine wichtige Rolle. In vielen Anwendungen der Bildverarbeitung sind Bildfilteralgorithmen ein unverzichtbarer Bestandteil. Aufgrund der Dimensionalität und Komplexität der Bilder stellte die Geschwindigkeit von Bildfilteralgorithmen jedoch eine Herausforderung dar. In diesem Artikel wird untersucht, wie die Geschwindigkeit von Bildfilteralgorithmen in der C++-Entwicklung optimiert werden kann. Für die Optimierung von Bildfilteralgorithmen ist zunächst eine sinnvolle Auswahl von Algorithmen der erste Schritt. Zu den gängigen Bildfilteralgorithmen gehören Mittelwertfilterung, Medianfilterung, Gaußsche Filterung usw. Bei der Auswahl eines Algorithmus
2023-08-22
Kommentar 0
598