AI Runner est un programme que j'ai écrit qui vous permet d'exécuter des LLM et des modèles artistiques à diffusion stable localement, hors ligne sur votre propre matériel. J'ai optimisé cela pour les cartes graphiques bas de gamme (testées sur 2080s RTX et 3060 RTX). Il est en développement depuis environ deux ans, est gratuit, pur python et publié sous GPL3.
La dernière version, la 3.0, est en développement depuis de nombreux mois. Il s'agit d'une refactorisation complète de l'application, elle est presque prête et sera la première version non alpha.
AI Runner a été créé avec les bibliothèques Pyside6 et Huggingface. Afin d'offrir plus de sécurité et de confidentialité, j'ai publié plusieurs bibliothèques qui sandboxent les opérations de disque, de réseau et de journalisation, chacune n'ayant aucune dépendance tierce.
Les versions précédentes ont été composées à l'aide de pyinstaller et publiées sur itch.io, mais à l'avenir, je viserai Flatpak ou Snap sous Linux (j'ai abandonné le support de Windows pour l'instant).
Si vous aimez mon travail, vous pouvez me soutenir sur Patreon - je le fais gratuitement et tout soutien est grandement apprécié.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!