Comment mesurer le ROI de l'IA en santé ?

Si vous avez lu notre précédente note de terrain, Les clés d’un déploiement réussi de l’IA en santé, vous vous souvenez que l’un des indicateurs avancés les plus solides du ROI de l’IA est l’adoption, plus encore que le modèle lui-même. Avant de pouvoir mesurer l’impact financier, les résultats cliniques ou les gains opérationnels, il faut d’abord savoir si les gens utilisent le système.

Cet article en est le prolongement technique. Plutôt que la stratégie de déploiement, il s’intéresse au cadre de mesure qui la sous-tend. Que faut-il collecter ? D’où ces données doivent-elles provenir ? Et comment relier l’usage de l’IA aux indicateurs opérationnels et financiers qui déterminent, au final, si un projet a réussi ?

Quand une organisation évalue un projet d’IA, la conversation saute souvent directement au retour sur investissement.

C’est compréhensible. Chaque projet est censé améliorer l’efficacité, réduire les coûts ou générer une valeur mesurable. Le problème, c’est que ces résultats sont difficiles à mesurer si l’on ne sait pas d’abord si le système est réellement utilisé.

Avant de regarder les résultats financiers, il faut répondre à quelques questions de base :

Sans ces informations, il est difficile de dire grand-chose du ROI.

Les données d’usage les plus précieuses sont collectées par l’application elle-même.

Si un système d’IA doit s’intégrer à un flux de travail clinique ou opérationnel, il doit enregistrer la façon dont les gens interagissent avec lui dès le premier jour.

Savoir simplement que quelqu’un s’est connecté une fois ne vous apprend presque rien.

Le produit doit être conçu pour capturer ces informations dès le départ, et non les ajouter après coup une fois le déploiement terminé.

L’usage ne prend tout son sens que lorsque l’on sait qui aurait pu utiliser le système.

Cela dépend de l’application.

Pour un outil de documentation ambiante, ce pourrait être chaque clinicien qui utilise l’EMR.

Pour un système de facturation assisté par l’IA, ce pourrait être chaque spécialiste de la facturation.

Pour un système d’IA qui analyse les conversations d’un centre d’appels de santé, ce pourrait être chaque utilisateur sous licence de la plateforme du centre d’appels.

Une fois la taille de cette population connue, vous pouvez la comparer au nombre d’utilisateurs actifs et voir comment l’adoption évolue dans le temps.

Collecter les données d’usage n’est que la première étape.

Pour comprendre si l’adoption crée de la valeur, ces indicateurs doivent être combinés au reste des données opérationnelles de l’organisation.

Cela signifie généralement déplacer l’analytique applicative vers un data warehouse ou un data lake, aux côtés des informations issues des systèmes cliniques, des plateformes de facturation, du reporting financier, des systèmes bancaires ou des logiciels de centre d’appels.

Des plateformes comme Databricks et Snowflake permettent de réunir ces jeux de données dans un environnement de reporting unique.

Une fois que les données d’usage de l’IA côtoient les données opérationnelles et financières, le reporting peut confronter l’adoption à des résultats comme la performance de facturation, l’efficacité des flux de travail ou d’autres indicateurs opérationnels.

Une fois les données réunies au même endroit, vous pouvez commencer à comparer l’usage de l’IA aux indicateurs opérationnels.

Le reporting doit être pensé avant le lancement d’un pilote d’IA, et non une fois qu’il est déjà déployé.

L’application doit capturer les bonnes informations dès le premier jour, car ces interactions ne peuvent généralement pas être recréées plus tard.

Construire des tableaux de bord est relativement simple. S’assurer que le produit collecte les bonnes données, voilà ce qui demande de la préparation.

Chaque implémentation d’IA devrait pouvoir répondre à une question simple : le système est-il utilisé, et cet usage conduit-il à des améliorations mesurables ailleurs dans l’organisation ?

Cela commence à l’intérieur du produit lui-même, avec une analytique qui capture la façon dont les gens utilisent le système. Cela se poursuit en versant ces informations dans un environnement de reporting, aux côtés des données opérationnelles et financières.

Si ce cadre de mesure est conçu dès le départ, l’adoption, les gains de productivité et le ROI peuvent tous être évalués dans le même environnement de reporting.