


Open-Source-Betriebssystem für KI-Agenten großer Modelle: Steuern Sie KI-Agenten wie Windos
Dieser Artikel wurde mit Genehmigung der AIGC Open Community nachgedruckt. Bitte wenden Sie sich für einen Nachdruck an die Quelle.
Wenn Sie mehr über AIGC erfahren möchten, besuchen Sie bitte: 51CTO AI Es verfügt über leistungsstarke Automatisierungsfunktionen und erstellt eine neue KI-Agentenspur. Es gibt jedoch noch viele Probleme, die bei der Planung von Unteraufgaben, der Ressourcenzuweisung und der Zusammenarbeit zwischen KI gelöst werden müssen.
So entwickelten Forscher der Rutgers University AIOS, ein KI-Agenten-Betriebssystem mit großen Modellen als Kern. Es kann das Problem der niedrigen Ressourcenanrufrate effektiv lösen, wenn die Anzahl der KI-Agenten zunimmt. Es kann auch den Kontextwechsel zwischen Agenten fördern, gleichzeitige Agenten implementieren und die Agentenzugriffskontrolle aufrechterhalten.
Open-Source-Adresse: https://github.com/agiresearch/AIOS
Papieradresse: https://arxiv.org/abs/2403.16971
Die Architektur von AIOS und Was wir verwenden Das PC-Betriebssystem ist ähnlich und hauptsächlich in drei Hauptblöcke unterteilt: Anwendungsschicht, Kernelschicht und Hardwareschicht. Der einzige Unterschied besteht darin, dass AIOS einen Kernel-Manager in der Kernel-Schicht baut, der speziell Aufgaben im Zusammenhang mit großen Modellen verwaltet.
Die Anwendungsschicht
,Die Hardwareschicht besteht aus Hardwaregeräten wie CPU, GPU, Speicher und Peripheriegeräten. Der Kern des großen Modells kann jedoch nicht direkt mit der Hardware interagieren. Stattdessen werden Hardwareressourcen indirekt über von der Kernelschicht bereitgestellte Aufrufe verwaltet, um die Systemintegrität und -effizienz sicherzustellen. AI Agent Scheduler
Der AI Agent Scheduler ist hauptsächlich für die angemessene Planung und Optimierung der Agentenanforderungen großer Modelle verantwortlich, um die Rechenressourcen großer Modelle voll auszunutzen. Wenn mehrere Agenten gleichzeitig Anfragen an ein großes Modell initiieren, muss der Scheduler die Anfragen nach einem bestimmten Planungsalgorithmus sortieren, um zu vermeiden, dass ein einzelner Agent das große Modell lange Zeit belegt und andere Agenten lange warten müssen .
Darüber hinaus unterstützt das Design von AIOS auch komplexere Planungsstrategien, beispielsweise unter Berücksichtigung der Abhängigkeiten zwischen Proxy-Anfragen, um eine optimierte Ressourcenzuteilung zu erreichen.
Wenn es keine Planungsanweisung gibt, müssen die Agenten Aufgaben einzeln der Reihe nach ausführen, und nachfolgende Agenten müssen lange warten. Nach Verwendung des Planungsalgorithmus können die Anforderungen jedes Agenten verschachtelt werden parallel ausgeführt, was die Gesamtwartezeit und Reaktionsverzögerung erheblich reduziert
.Kontextmanager
Da der Generierungsprozess großer Modelle im Allgemeinen heuristische Suchen wie Beam Search verwendet, wird der Suchbaum schrittweise aufgebaut und verschiedene Pfade werden ausgewertet, um schließlich die Ergebnisse zu liefern.
Wenn jedoch ein großes Modell während des Generierungsprozesses vom Scheduler unterbrochen wird, erstellt der Kontextmanager einen Schnappschuss des aktuellen Beam Search-Baumstatus (einschließlich der, um den Verlust aller Zwischenzustände und die Verschwendung früherer Berechnungen zu vermeiden). Wahrscheinlichkeit jedes Pfades usw.).
Wenn das große Modell wieder Ausführungsressourcen erhält, kann der Kontextmanager den vorherigen Beam Search-Status ab dem Punkt der Unterbrechung genau wiederherstellen und mit der Generierung der verbleibenden Teile fortfahren, wodurch die Integrität und Genauigkeit des Endergebnisses sichergestellt wird.
Darüber hinaus unterliegen die meisten großen Modelle Einschränkungen der Kontextlänge, und der Eingabekontext in tatsächlichen Szenarien überschreitet häufig diese Grenze. Um dieses Problem zu lösen, integriert der Kontextmanager Funktionen wie die Textzusammenfassung, mit der lange Kontexte komprimiert oder blockiert werden können, sodass große Modelle lange Kontextinformationen effizient verstehen und verarbeiten können.
Speichermanager
Der Speichermanager ist hauptsächlich für die Verwaltung der Kurzzeitspeicherressourcen und die Bereitstellung eines effizienten temporären Speichers für die Interaktionsprotokolle und Zwischendaten jedes KI-Agenten verantwortlich.
Wenn der KI-Agent auf die Ausführung oder Ausführung wartet, werden die benötigten Daten in dem vom Speichermanager zugewiesenen Speicherblock gespeichert. Sobald die Agentenaufgabe beendet ist, wird auch der entsprechende Speicherblock vom System recycelt, um eine effiziente Nutzung der Speicherressourcen sicherzustellen.
AIOS weist jedem KI-Agenten unabhängigen Speicher zu und erreicht über den Zugriffsmanager eine Speicherisolation zwischen verschiedenen Agenten. In Zukunft wird AIOS komplexere Speicherfreigabemechanismen und hierarchische Caching-Strategien einführen, um die Gesamtleistung des KI-Agenten weiter zu optimieren.
Wenn Sie mehr über AIGC erfahren möchten, besuchen Sie bitte: 51CTO AI.x Community
https://www.51cto.com/aigc/
Das obige ist der detaillierte Inhalt vonOpen-Source-Betriebssystem für KI-Agenten großer Modelle: Steuern Sie KI-Agenten wie Windos. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Die Technologie zur Gesichtserkennung und -erkennung ist bereits eine relativ ausgereifte und weit verbreitete Technologie. Derzeit ist JS die am weitesten verbreitete Internetanwendungssprache. Die Implementierung der Gesichtserkennung und -erkennung im Web-Frontend hat im Vergleich zur Back-End-Gesichtserkennung Vor- und Nachteile. Zu den Vorteilen gehören die Reduzierung der Netzwerkinteraktion und die Echtzeiterkennung, was die Wartezeit des Benutzers erheblich verkürzt und das Benutzererlebnis verbessert. Die Nachteile sind: Es ist durch die Größe des Modells begrenzt und auch die Genauigkeit ist begrenzt. Wie implementiert man mit js die Gesichtserkennung im Web? Um die Gesichtserkennung im Web zu implementieren, müssen Sie mit verwandten Programmiersprachen und -technologien wie JavaScript, HTML, CSS, WebRTC usw. vertraut sein. Gleichzeitig müssen Sie auch relevante Technologien für Computer Vision und künstliche Intelligenz beherrschen. Dies ist aufgrund des Designs der Webseite erwähnenswert

Lassen Sie mich Ihnen das neueste AIGC-Open-Source-Projekt vorstellen – AnimagineXL3.1. Dieses Projekt ist die neueste Version des Text-zu-Bild-Modells mit Anime-Thema und zielt darauf ab, Benutzern ein optimiertes und leistungsfähigeres Erlebnis bei der Generierung von Anime-Bildern zu bieten. Bei AnimagineXL3.1 konzentrierte sich das Entwicklungsteam auf die Optimierung mehrerer Schlüsselaspekte, um sicherzustellen, dass das Modell neue Höhen in Bezug auf Leistung und Funktionalität erreicht. Zunächst erweiterten sie die Trainingsdaten, um nicht nur Spielcharakterdaten aus früheren Versionen, sondern auch Daten aus vielen anderen bekannten Anime-Serien in das Trainingsset aufzunehmen. Dieser Schritt erweitert die Wissensbasis des Modells und ermöglicht ihm ein umfassenderes Verständnis verschiedener Anime-Stile und Charaktere. AnimagineXL3.1 führt eine neue Reihe spezieller Tags und Ästhetiken ein

Neues SOTA für multimodale Dokumentverständnisfunktionen! Das Alibaba mPLUG-Team hat die neueste Open-Source-Arbeit mPLUG-DocOwl1.5 veröffentlicht, die eine Reihe von Lösungen zur Bewältigung der vier großen Herausforderungen der hochauflösenden Bildtexterkennung, des allgemeinen Verständnisses der Dokumentstruktur, der Befolgung von Anweisungen und der Einführung externen Wissens vorschlägt. Schauen wir uns ohne weitere Umschweife zunächst die Auswirkungen an. Ein-Klick-Erkennung und Konvertierung von Diagrammen mit komplexen Strukturen in das Markdown-Format: Es stehen Diagramme verschiedener Stile zur Verfügung: Auch eine detailliertere Texterkennung und -positionierung ist einfach zu handhaben: Auch ausführliche Erläuterungen zum Dokumentverständnis können gegeben werden: Sie wissen schon, „Document Understanding“. " ist derzeit ein wichtiges Szenario für die Implementierung großer Sprachmodelle. Es gibt viele Produkte auf dem Markt, die das Lesen von Dokumenten unterstützen. Einige von ihnen verwenden hauptsächlich OCR-Systeme zur Texterkennung und arbeiten mit LLM zur Textverarbeitung zusammen.
