Création de résumés basés sur l'IA dans un site Web Django

Résumer un texte long peut être fastidieux, en particulier sur des plateformes comme PyBazaar, où des résumés concis améliorent l'expérience utilisateur. Dans cet article, je vais partager comment j'ai utilisé Simplemind et Gemini pour automatiser ce processus dans mon projet basé sur Django.

Informations générales

Récemment, j'ai lancé PyBazaar.com, un site Web permettant aux développeurs Python de montrer leurs compétences, de trouver des offres d'emploi et de publier et trouver des ressources de développement. Son objectif est de disposer d'un lieu central où les développeurs Python peuvent commercialiser leurs services, produits ou projets.

PyBazaar affiche de longues descriptions des opportunités de carrière et des ressources dans les vues détaillées et de courts résumés dans les vues de liste. Les résumés aident les utilisateurs à comprendre rapidement le contenu des ressources et les opportunités de carrière sans ouvrir chaque vue détaillée, améliorant ainsi l'expérience de navigation globale sur PyBazaar. Pour rendre le montage plus fluide, j'ai introduit une synthèse automatique basée sur l'IA.

Choisir Simplemind pour la communication avec les LLM

Kenneth Reitz, l'auteur du célèbre package requests, a récemment publié sa dernière création, Simplemind, qui améliore l'expérience des développeurs avec les API des grands modèles de langage (LLM). J'ai pensé que ce serait une bonne opportunité d'essayer d'intégrer son package dans PyBazaar.

Bien que j'ai choisi Google Gemini pour son niveau gratuit, la prise en charge par Simplemind de fournisseurs comme OpenAI ou Claude signifie que les développeurs peuvent évoluer vers des fonctionnalités plus avancées ou des résultats plus précis si nécessaire.

Configuration des clés API

Au début, je devais obtenir une clé API chez Google AI Studio.

Intégration Django

Puis j'ai installé Simplemind :

(venv)$ pip install 'simplemind[full]'

Cependant, en attendant qu'une des dépendances (grpcio) soit compilée sur mon Mac, j'ai eu le temps de prendre une boisson énergisante et suffisamment de temps pour faire défiler la moitié de mon flux de réseaux sociaux.

Simplemind s'attend à ce que les clés API LLM soient définies dans les variables d'environnement. Dans mes projets Django, je stocke les secrets dans des fichiers JSON, que Git ignore, et je lis ces valeurs avec une fonction utilitaire que j'ai écrite, get_secret().

J'ai donc ajouté ces lignes dans les paramètres de Django :

import os
os.environ["GEMINI_API_KEY"] = get_secret("GEMINI_API_KEY")
DEFAULT_LLM_PROVIDER = "gemini"

J'ai créé une vue simple qui prend le contenu HTML publié, demande à LLM de le résumer et renvoie le résumé à l'utilisateur :

import json
import simplemind
from django.contrib.auth.decorators import login_required
from django.conf import settings
from django.http import JsonResponse
from django.utils.html import strip_tags


@login_required
def summarize(request):
    summary = ""
    try:
        if (
            request.method == "POST"
            and (data := json.loads(request.body))
            and (content := data.get("content"))
            and (text := strip_tags(content).strip())
        ):
            summary = simplemind.generate_text(
                prompt=f"Condense the following information in 2 sentences:\n\n{text}",
                llm_provider=settings.DEFAULT_LLM_PROVIDER,
            ).strip()
    except json.JSONDecodeError:
        pass
    data = {"summary": summary}
    return JsonResponse(data)

Comme vous pouvez le constater, Simplemind est aussi élégant que l'application requests. Je pourrais facilement passer à OpenAI ou Claude si j'avais besoin de résultats plus avancés ou de requêtes plus intelligentes.

J'ai utilisé strip_tags() pour réduire le nombre de jetons et strip() pour supprimer les espaces de début et de fin.

Pour améliorer les performances de la vue, je pourrais également utiliser ASGI ou une tâche en arrière-plan, mais c'est quelque chose à considérer lorsqu'il y a plus d'utilisateurs sur PyBazaar.

Le bouton de résumé avait son modèle, que j'ai inclus dans ma mise en page Django Crispy Forms avec layout.HTML("""{% include "summarizer/includes/summarize_button.html" %}""") :

(venv)$ pip install 'simplemind[full]'

Lorsqu'un utilisateur clique sur le bouton "Résumer par l'IA", le Javascript désactive temporairement le bouton, change son texte en "Résumé...", lit la valeur HTML du champ QuillJS et la publie sous la forme {"content ": "..."} vers la vue récapitulative. Après avoir reçu le résumé sous la forme {"summary": "..."}, le Javascript remplit la zone de texte du résumé et rend le bouton à nouveau cliquable.

Conclusion

Simplemind facilite le travail avec les LLM grâce aux valeurs par défaut intelligentes, afin que les développeurs n'aient pas à ajuster des paramètres compliqués comme la température ou les max_tokens.

Gemini LLM peut être utilisé gratuitement, et cela semble suffisant pour des fonctionnalités simples comme celle-ci avec un nombre modéré d'utilisateurs actifs.

J'ai implémenté cette fonctionnalité de synthèse chez PyBazaar en seulement une demi-journée et j'ai pu facilement adapter cette intégration pour générer des méta descriptions, des brouillons d'e-mails ou des recommandations personnalisées.

Si vous êtes un développeur Python et que vous cherchez à mettre en valeur vos compétences, à partager des ressources ou à trouver des opportunités, visitez PyBazaar.com dès aujourd'hui !

---

Photo de couverture par Caio

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!