Inhaltsverzeichnis
Darüber hinaus unterstützt das Design von AIOS auch komplexere Planungsstrategien, beispielsweise unter Berücksichtigung der Abhängigkeiten zwischen Proxy-Anfragen, um eine optimierte Ressourcenzuteilung zu erreichen.
Wenn jedoch ein großes Modell während des Generierungsprozesses vom Scheduler unterbrochen wird, erstellt der Kontextmanager einen Schnappschuss des aktuellen Beam Search-Baumstatus (einschließlich der, um den Verlust aller Zwischenzustände und die Verschwendung früherer Berechnungen zu vermeiden). Wahrscheinlichkeit jedes Pfades usw.).
Heim Technologie-Peripheriegeräte KI Open-Source-Betriebssystem für KI-Agenten großer Modelle: Steuern Sie KI-Agenten wie Windos

Open-Source-Betriebssystem für KI-Agenten großer Modelle: Steuern Sie KI-Agenten wie Windos

Apr 03, 2024 pm 03:10 PM
模型 开源

Dieser Artikel wurde mit Genehmigung der AIGC Open Community nachgedruckt. Bitte wenden Sie sich für einen Nachdruck an die Quelle.

Wenn Sie mehr über AIGC erfahren möchten, besuchen Sie bitte: 51CTO AI Es verfügt über leistungsstarke Automatisierungsfunktionen und erstellt eine neue KI-Agentenspur. Es gibt jedoch noch viele Probleme, die bei der Planung von Unteraufgaben, der Ressourcenzuweisung und der Zusammenarbeit zwischen KI gelöst werden müssen.

So entwickelten Forscher der Rutgers University AIOS, ein KI-Agenten-Betriebssystem mit großen Modellen als Kern. Es kann das Problem der niedrigen Ressourcenanrufrate effektiv lösen, wenn die Anzahl der KI-Agenten zunimmt. Es kann auch den Kontextwechsel zwischen Agenten fördern, gleichzeitige Agenten implementieren und die Agentenzugriffskontrolle aufrechterhalten.

Open-Source-Adresse: https://github.com/agiresearch/AIOS

Papieradresse: https://arxiv.org/abs/2403.16971

Die Architektur von AIOS und Was wir verwenden Das PC-Betriebssystem ist ähnlich und hauptsächlich in drei Hauptblöcke unterteilt: Anwendungsschicht, Kernelschicht und Hardwareschicht. Der einzige Unterschied besteht darin, dass AIOS einen Kernel-Manager in der Kernel-Schicht baut, der speziell Aufgaben im Zusammenhang mit großen Modellen verwaltet.

Open-Source-Betriebssystem für KI-Agenten großer Modelle: Steuern Sie KI-Agenten wie Windos

Die Anwendungsschicht

,

Open-Source-Betriebssystem für KI-Agenten großer Modelle: Steuern Sie KI-Agenten wie Windos

besteht hauptsächlich aus Agentenanwendungen (z. B. Reisebüros, Mathematikagenten, Codeagenten usw.); die Kernelschicht wird durch die Kombination traditioneller Betriebssystemsysteme entwickelt und große Modelle, OS Das System wird hauptsächlich für die Dateiverwaltung verwendet, und das große Modell wird für die Planung und Verwaltung von KI-Agenten verwendet

Die Hardwareschicht besteht aus Hardwaregeräten wie CPU, GPU, Speicher und Peripheriegeräten. Der Kern des großen Modells kann jedoch nicht direkt mit der Hardware interagieren. Stattdessen werden Hardwareressourcen indirekt über von der Kernelschicht bereitgestellte Aufrufe verwaltet, um die Systemintegrität und -effizienz sicherzustellen. AI Agent Scheduler

Der AI Agent Scheduler ist hauptsächlich für die angemessene Planung und Optimierung der Agentenanforderungen großer Modelle verantwortlich, um die Rechenressourcen großer Modelle voll auszunutzen. Wenn mehrere Agenten gleichzeitig Anfragen an ein großes Modell initiieren, muss der Scheduler die Anfragen nach einem bestimmten Planungsalgorithmus sortieren, um zu vermeiden, dass ein einzelner Agent das große Modell lange Zeit belegt und andere Agenten lange warten müssen .

Darüber hinaus unterstützt das Design von AIOS auch komplexere Planungsstrategien, beispielsweise unter Berücksichtigung der Abhängigkeiten zwischen Proxy-Anfragen, um eine optimierte Ressourcenzuteilung zu erreichen.

Wenn es keine Planungsanweisung gibt, müssen die Agenten Aufgaben einzeln der Reihe nach ausführen, und nachfolgende Agenten müssen lange warten. Nach Verwendung des Planungsalgorithmus können die Anforderungen jedes Agenten verschachtelt werden parallel ausgeführt, was die Gesamtwartezeit und Reaktionsverzögerung erheblich reduziert

.

Kontextmanager

Da der Generierungsprozess großer Modelle im Allgemeinen heuristische Suchen wie Beam Search verwendet, wird der Suchbaum schrittweise aufgebaut und verschiedene Pfade werden ausgewertet, um schließlich die Ergebnisse zu liefern.

Wenn jedoch ein großes Modell während des Generierungsprozesses vom Scheduler unterbrochen wird, erstellt der Kontextmanager einen Schnappschuss des aktuellen Beam Search-Baumstatus (einschließlich der, um den Verlust aller Zwischenzustände und die Verschwendung früherer Berechnungen zu vermeiden). Wahrscheinlichkeit jedes Pfades usw.).

Wenn das große Modell wieder Ausführungsressourcen erhält, kann der Kontextmanager den vorherigen Beam Search-Status ab dem Punkt der Unterbrechung genau wiederherstellen und mit der Generierung der verbleibenden Teile fortfahren, wodurch die Integrität und Genauigkeit des Endergebnisses sichergestellt wird.

Darüber hinaus unterliegen die meisten großen Modelle Einschränkungen der Kontextlänge, und der Eingabekontext in tatsächlichen Szenarien überschreitet häufig diese Grenze. Um dieses Problem zu lösen, integriert der Kontextmanager Funktionen wie die Textzusammenfassung, mit der lange Kontexte komprimiert oder blockiert werden können, sodass große Modelle lange Kontextinformationen effizient verstehen und verarbeiten können. Open-Source-Betriebssystem für KI-Agenten großer Modelle: Steuern Sie KI-Agenten wie Windos

Speichermanager

Der Speichermanager ist hauptsächlich für die Verwaltung der Kurzzeitspeicherressourcen und die Bereitstellung eines effizienten temporären Speichers für die Interaktionsprotokolle und Zwischendaten jedes KI-Agenten verantwortlich.

Wenn der KI-Agent auf die Ausführung oder Ausführung wartet, werden die benötigten Daten in dem vom Speichermanager zugewiesenen Speicherblock gespeichert. Sobald die Agentenaufgabe beendet ist, wird auch der entsprechende Speicherblock vom System recycelt, um eine effiziente Nutzung der Speicherressourcen sicherzustellen.

Open-Source-Betriebssystem für KI-Agenten großer Modelle: Steuern Sie KI-Agenten wie Windos

AIOS weist jedem KI-Agenten unabhängigen Speicher zu und erreicht über den Zugriffsmanager eine Speicherisolation zwischen verschiedenen Agenten. In Zukunft wird AIOS komplexere Speicherfreigabemechanismen und hierarchische Caching-Strategien einführen, um die Gesamtleistung des KI-Agenten weiter zu optimieren.

Wenn Sie mehr über AIGC erfahren möchten, besuchen Sie bitte: 51CTO AI.x Community

https://www.51cto.com/aigc/

Das obige ist der detaillierte Inhalt vonOpen-Source-Betriebssystem für KI-Agenten großer Modelle: Steuern Sie KI-Agenten wie Windos. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Repo: Wie man Teamkollegen wiederbelebt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo May 07, 2024 pm 04:13 PM

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert Jun 01, 2024 pm 10:03 PM

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Apr 01, 2024 pm 07:46 PM

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao Apr 09, 2024 am 11:52 AM

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Empfohlen: Ausgezeichnetes JS-Open-Source-Projekt zur Gesichtserkennung und -erkennung Empfohlen: Ausgezeichnetes JS-Open-Source-Projekt zur Gesichtserkennung und -erkennung Apr 03, 2024 am 11:55 AM

Die Technologie zur Gesichtserkennung und -erkennung ist bereits eine relativ ausgereifte und weit verbreitete Technologie. Derzeit ist JS die am weitesten verbreitete Internetanwendungssprache. Die Implementierung der Gesichtserkennung und -erkennung im Web-Frontend hat im Vergleich zur Back-End-Gesichtserkennung Vor- und Nachteile. Zu den Vorteilen gehören die Reduzierung der Netzwerkinteraktion und die Echtzeiterkennung, was die Wartezeit des Benutzers erheblich verkürzt und das Benutzererlebnis verbessert. Die Nachteile sind: Es ist durch die Größe des Modells begrenzt und auch die Genauigkeit ist begrenzt. Wie implementiert man mit js die Gesichtserkennung im Web? Um die Gesichtserkennung im Web zu implementieren, müssen Sie mit verwandten Programmiersprachen und -technologien wie JavaScript, HTML, CSS, WebRTC usw. vertraut sein. Gleichzeitig müssen Sie auch relevante Technologien für Computer Vision und künstliche Intelligenz beherrschen. Dies ist aufgrund des Designs der Webseite erwähnenswert

Gerade erschienen! Ein Open-Source-Modell zum Generieren von Bildern im Anime-Stil mit einem Klick Gerade erschienen! Ein Open-Source-Modell zum Generieren von Bildern im Anime-Stil mit einem Klick Apr 08, 2024 pm 06:01 PM

Lassen Sie mich Ihnen das neueste AIGC-Open-Source-Projekt vorstellen – AnimagineXL3.1. Dieses Projekt ist die neueste Version des Text-zu-Bild-Modells mit Anime-Thema und zielt darauf ab, Benutzern ein optimiertes und leistungsfähigeres Erlebnis bei der Generierung von Anime-Bildern zu bieten. Bei AnimagineXL3.1 konzentrierte sich das Entwicklungsteam auf die Optimierung mehrerer Schlüsselaspekte, um sicherzustellen, dass das Modell neue Höhen in Bezug auf Leistung und Funktionalität erreicht. Zunächst erweiterten sie die Trainingsdaten, um nicht nur Spielcharakterdaten aus früheren Versionen, sondern auch Daten aus vielen anderen bekannten Anime-Serien in das Trainingsset aufzunehmen. Dieser Schritt erweitert die Wissensbasis des Modells und ermöglicht ihm ein umfassenderes Verständnis verschiedener Anime-Stile und Charaktere. AnimagineXL3.1 führt eine neue Reihe spezieller Tags und Ästhetiken ein

Das multimodale Dokumentenverständnis-Großmodell Alibaba 7B gewinnt neue SOTA Das multimodale Dokumentenverständnis-Großmodell Alibaba 7B gewinnt neue SOTA Apr 02, 2024 am 11:31 AM

Neues SOTA für multimodale Dokumentverständnisfunktionen! Das Alibaba mPLUG-Team hat die neueste Open-Source-Arbeit mPLUG-DocOwl1.5 veröffentlicht, die eine Reihe von Lösungen zur Bewältigung der vier großen Herausforderungen der hochauflösenden Bildtexterkennung, des allgemeinen Verständnisses der Dokumentstruktur, der Befolgung von Anweisungen und der Einführung externen Wissens vorschlägt. Schauen wir uns ohne weitere Umschweife zunächst die Auswirkungen an. Ein-Klick-Erkennung und Konvertierung von Diagrammen mit komplexen Strukturen in das Markdown-Format: Es stehen Diagramme verschiedener Stile zur Verfügung: Auch eine detailliertere Texterkennung und -positionierung ist einfach zu handhaben: Auch ausführliche Erläuterungen zum Dokumentverständnis können gegeben werden: Sie wissen schon, „Document Understanding“. " ist derzeit ein wichtiges Szenario für die Implementierung großer Sprachmodelle. Es gibt viele Produkte auf dem Markt, die das Lesen von Dokumenten unterstützen. Einige von ihnen verwenden hauptsächlich OCR-Systeme zur Texterkennung und arbeiten mit LLM zur Textverarbeitung zusammen.

See all articles