À l’instar du cloud, les organisations doivent apprendre que les équipes financières doivent travailler avec l’informatique et les parties prenantes des cas d’utilisation de l’IA pour obtenir une facturation, une visibilité et des garde-fous adaptés.
L’établissement de passerelles et le déploiement de cadres tels qu’OpenTelemetry qui offrent une visibilité sur la consommation de jetons dans tous les modèles et cas d’utilisation peuvent être utiles. Cela commencera à vous fournir des données financières afin que vous puissiez au moins voir qui fait quoi, quelles sont les dépenses et où se produit le retour sur investissement négatif avec une visibilité granulaire, transparente et en temps réel.
Une passerelle peut fonctionner comme ceci : un utilisateur envoie une invite via une passerelle contrôlée par votre organisation. Cette passerelle peut ensuite déterminer le modèle à utiliser pour cette invite, suivre l’utilisateur, le nombre de jetons utilisés et d’autres données importantes, pour chaque invite d’utilisateur ou d’agent qui se produit.
L’installation d’une passerelle IA d’entreprise entre toutes les invites, applications internes, chatbots et flux de données facilite le routage intelligent et la budgétisation des jetons. Il peut également fournir une prévention contre la perte de données, comme le nettoyage au niveau sémantique des informations de santé protégées, ou l’intégration du Model Context Protocol (MCP) à FHIR pour accéder aux données de santé sensibles. Une passerelle est quelque chose que chaque organisation devrait envisager de mettre en œuvre et constitue un élément fondamental de l’architecture de l’IA dans le domaine des soins de santé.
Un autre changement pour les organisations permis par les passerelles et la maturité de la gouvernance est la mesure et l’optimisation du « rendement des jetons », qui relie l’utilisation des jetons à un résultat commercial utile. Sur un million de jetons, quel pourcentage des jetons achetés et consommés a contribué à améliorer les soins directs aux patients, par exemple ? Où sont apparus les jetons qui n’ont pas contribué et pourquoi ? Le rendement des jetons est une mesure émergente qui aide les organisations à comprendre pourquoi elles dépensent de l’argent en jetons.
Meilleures pratiques pour la gestion des jetons IA
Bien que de nombreux modèles d’IA accessibles via un fournisseur de services soient essentiellement des boîtes noires, les organisations doivent faire de leur mieux pour comprendre les capacités de chaque modèle. De cette façon, ils peuvent déterminer le modèle approprié pour la charge de travail appropriée.
Cela peut également inciter les organisations à déterminer si elles souhaitent héberger un modèle sur site dans un environnement hybride, ce qui peut s’avérer plus rentable dans certains cas. Les réglementations à venir peuvent également avoir un impact sur l’architecture des agents d’IA, par exemple en garantissant qu’un humain est impliqué dans certaines étapes. Certaines plates-formes et solutions de produits offrent des fonctionnalités d’IA standard simples à utiliser, telles que Penny d’Epic, spécialement conçue pour les flux de travail RevOps de base afin de réduire la complexité de mise en œuvre et opérationnelle.
Chaque modèle d’IA a un coût par jeton différent. Disons qu’un agent IA doit accomplir cinq étapes pour la tâche qui lui est assignée. Pour l’une des étapes, il peut utiliser un modèle, mais pour l’étape suivante, plus simple, il peut utiliser le modèle le moins cher. Si ces considérations ne sont pas prises en compte, vous risquez de finir par concevoir un agent IA qui n’utilise pas efficacement les modèles et génère des coûts importants. Pour le cloud, cela revient à louer le plus gros serveur pour exécuter le plus petit flux de travail, puis permettre une évolutivité illimitée. La conception des agents d’IA et la sélection de modèles deviennent alors des éléments majeurs de la gestion des coûts et de l’utilisation des jetons d’IA.
À mesure que l’IA s’intègre de plus en plus dans les flux de travail des soins de santé, les organisations qui ne parviennent pas à gérer stratégiquement l’utilisation des jetons risquent des coûts incontrôlables qui peuvent avoir de graves conséquences. Une consommation inefficace de jetons introduit également des problèmes de latence et de fiabilité qui peuvent compromettre les décisions urgentes. Au-delà du coût et des performances, une gestion réfléchie des jetons reflète un engagement plus large en faveur d’une gouvernance responsable de l’IA. Les fournisseurs qui considèrent aujourd’hui l’efficacité des jetons comme une discipline opérationnelle essentielle seront bien mieux placés pour faire évoluer l’IA de manière sûre et durable à mesure que la technologie continue d’évoluer.
Technologie de la santé