Exécuter l'IA localement dans les navigateurs de vos utilisateurs

Nous savons tous à quel point l'IA est géniale, cependant, il reste encore deux problèmes majeurs : la confidentialité des données et le coût.

Toutes les applications utilisant actuellement l'IA sont connectées aux API cloud. Ces API enregistrent les invites et les contextes et, dans certains cas, utilisent ces données pour entraîner des modèles. Cela signifie que toutes les données sensibles que vous y incluez sont potentiellement exposées.

La plupart des applications Web intègrent des fonctionnalités d'IA en utilisant le schéma suivant :

Le problème ici est que les serveurs d'applications doivent envoyer les données utilisateur à l'API AI, qui est une API tierce et nous ne pouvons pas vraiment savoir ce qui va se passer avec les données utilisateur.

Mais pourquoi ne pas simplement traiter l'IA dans l'appareil de l'utilisateur au lieu du cloud ? Je le teste depuis quelques semaines avec des résultats étonnants. J'ai trouvé 3 avantages principaux :

1. Les données utilisateur ne sont jamais transmises à un tiers. Il reste toujours sur l'appareil de l'utilisateur.
2. C'est gratuit pour le développeur de l'application, vous n'avez pas besoin de payer pour l'inférence de l'utilisateur, car cela se produit directement sur l'appareil de l'utilisateur.
3. L'évolutivité est illimitée car chaque nouvel utilisateur apporte sa propre puissance de calcul.

Jetons un coup d'œil rapide à la manière dont le schéma précédent change lorsque nous déchargeons le calcul de l'IA sur les utilisateurs :

C'est un concept très simple. L'utilisateur utilise l'application we comme toujours, mais lorsqu'une tâche nécessite d'effectuer un calcul d'IA, au lieu d'utiliser une API tierce, nous l'envoyons à l'utilisateur et son appareil effectuera ce calcul de la manière la plus sécurisée. localement.

Ce n'est pas qu'un rêve, c'est déjà entièrement fonctionnel, et j'ai créé une plateforme appelée Offload pour que tout le monde puisse utiliser cette architecture facilement, en changeant simplement quelques lignes de code . Le SDK gérera tout en coulisses, depuis le téléchargement d'un modèle adapté à la machine utilisateur, pour vous aider à gérer les invites et à évaluer les réponses aux invites localement, en vous renvoyant les résultats de l'évaluation sans exposer les données utilisateur. Tout fonctionne de manière transparente avec une seule invocation de fonction.

Je recherche des développeurs web qui pourraient en bénéficier, même si ce n'est que pour des projets de loisirs, alors, si vous aimez cette approche, pingez-moi ! J'aimerais vous aider à le configurer dans votre application et vous verrez qu'il est en fait très simple de migrer en quelques minutes.

Intégrez Offload dans votre application

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!