在 Android 上运行 Llama：使用 Ollama 的分步指南

Llama 3.2 a été récemment présenté lors de la conférence des développeurs de Meta, présentant des capacités multimodales impressionnantes et une version optimisée pour les appareils mobiles utilisant le matériel Qualcomm et MediaTek. Cette avancée permet aux développeurs d'exécuter de puissants modèles d'IA comme Llama 3.2 sur des appareils mobiles, ouvrant la voie à des applications d'IA plus efficaces, privées et réactives.

Meta a publié quatre variantes de Llama 3.2 :

• Modèles multimodaux avec 11 milliards (11B) et 90 milliards (90B) de paramètres.
• Modèles texte uniquement avec 1 milliard (1B) et 3 milliards (3B) de paramètres.

Les modèles plus grands, en particulier les variantes 11B et 90B, excellent dans des tâches telles que la compréhension d'images et le raisonnement graphique, surpassant souvent d'autres modèles comme Claude 3 Haiku et rivalisant même avec GPT-4o-mini dans certains cas. D'autre part, les modèles légers 1B et 3B sont conçus pour la génération de texte et les capacités multilingues, ce qui les rend idéaux pour les applications sur appareil où la confidentialité et l'efficacité sont essentielles.

Dans ce guide, nous allons vous montrer comment exécuter Llama 3.2 sur un appareil Android à l'aide de Termux et Ollama. Termux fournit un environnement Linux sur Android et Ollama aide à gérer et à exécuter de grands modèles localement.

Pourquoi exécuter Llama 3.2 localement ?

L'exécution locale de modèles d'IA offre deux avantages majeurs :

1. Traitement instantané puisque tout est géré sur l'appareil.
2. Confidentialité améliorée car il n'est pas nécessaire d'envoyer des données vers le cloud pour les traiter.

Même s'il n'existe pas encore beaucoup de produits permettant aux appareils mobiles d'exécuter des modèles comme Llama 3.2 en douceur, nous pouvons toujours l'explorer en utilisant un environnement Linux sur Android.

---

Étapes pour exécuter Llama 3.2 sur Android

1. Installez Termux sur Android

Termux est un émulateur de terminal qui permet aux appareils Android d'exécuter un environnement Linux sans avoir besoin d'un accès root. Il est disponible gratuitement et peut être téléchargé à partir de la page Termux GitHub.

Pour ce guide, téléchargez le termux-app_v0.119.0-beta.1 apt-android-7-github-debug_arm64-v8a.apk et installez-le sur votre appareil Android.

2. Configurer Termux

Après avoir lancé Termux, suivez ces étapes pour configurer l'environnement :

1. Accorder l'accès au stockage :

   termux-setup-storage

Cette commande permet à Termux d'accéder au stockage de votre appareil Android, permettant ainsi une gestion plus facile des fichiers.

1. Packages de mise à jour :

   pkg upgrade

Entrez Y lorsque vous êtes invité à mettre à jour Termux et tous les packages installés.

1. Installer les outils essentiels :

   pkg install git cmake golang

Ces packages incluent Git pour le contrôle de version, CMake pour la création de logiciels et Go, le langage de programmation dans lequel Ollama est écrit.

3. Installez et compilez Ollama

Ollama est une plateforme permettant d'exécuter de grands modèles localement. Voici comment l'installer et le configurer :

1. Cloner le référentiel GitHub d'Ollama :

   git clone --depth 1 https://github.com/ollama/ollama.git

1. Accédez à l'annuaire Ollama :

   cd ollama

1. Générer le code Go :

   go generate ./...

1. Construire Ollama :

   go build .

1. Démarrez le serveur Ollama :

   ./ollama serve &

Désormais, le serveur Ollama fonctionnera en arrière-plan, vous permettant d'interagir avec les modèles.

4. Exécution de modèles Llama 3.2

Pour exécuter le modèle Llama 3.2 sur votre appareil Android, suivez ces étapes :

1. Choisissez un modèle :

   • Des modèles comme llama3.2:3b (3 milliards de paramètres) sont disponibles pour les tests. Ces modèles sont quantifiés pour plus d’efficacité. Vous pouvez retrouver une liste des modèles disponibles sur le site d’Ollama.

2. Téléchargez et exécutez le modèle Llama 3.2 :
   

   ./ollama run llama3.2:3b --verbose

L'indicateur --verbose est facultatif et fournit des journaux détaillés. Une fois le téléchargement terminé, vous pouvez commencer à interagir avec le modèle.

5. Gestion des performances

Lors du test de Llama 3.2 sur des appareils comme le Samsung S21 Ultra, les performances étaient fluides pour le modèle 1B et gérables pour le modèle 3B, même si vous remarquerez peut-être un décalage sur le matériel plus ancien. Si les performances sont trop lentes, le passage au modèle 1B plus petit peut améliorer considérablement la réactivité.

---

Nettoyage facultatif

Après avoir utilisé Ollama, vous souhaiterez peut-être nettoyer le système :

1. Remove Unnecessary Files:

   chmod -R 700 ~/go
   rm -r ~/go

1. Move the Ollama Binary to a Global Path:

   cp ollama/ollama /data/data/com.termux/files/usr/bin/

Now, you can run ollama directly from the terminal.

---

Conclusion

Llama 3.2 represents a major leap forward in AI technology, bringing powerful, multimodal models to mobile devices. By running these models locally using Termux and Ollama, developers can explore the potential of privacy-first, on-device AI applications that don’t rely on cloud infrastructure. With models like Llama 3.2, the future of mobile AI looks bright, allowing faster, more secure AI solutions across various industries.

以上是在 Android 上运行 Llama：使用 Ollama 的分步指南的详细内容。更多信息请关注PHP中文网其他相关文章！