Validation des indicateurs de qualité mesurés à partir des bases de données médico-administratives par comparaison à un « gold standard »

Contexte

La HAS développe, valide et mesure depuis 2015 des indicateurs de qualité mesurés à partir des bases de données médico-administratives (BDMA : PMSI / SNDS). Elle définit également des indicateurs de qualité des parcours de soins mesurables à partir du SNDS. L’intérêt de ces bases pour le calcul d’indicateurs de qualité est la réutilisation de données existantes nationales et exhaustives, avec possibilité de suivi dans le temps, sans charge de travail supplémentaire pour les professionnels de santé.

La différence fondamentale entre les IQSS et les indicateurs de qualité du parcours est la validité de critère qui mesure la capacité de l’indicateur à produire des résultats comparables à ceux produits à partir d’une référence dite « gold standard » :

• Les IQSS sont systématiquement validés avec une comparaison à un gold standard, qui est le dossier patient.
• Les indicateurs de qualité du parcours de soins permettent un état des lieux des points clés d’une prise en charge impliquant la ville et l’établissement. Ils sont difficilement validables contre un gold standard puisque le gold standard pour les valider est en théorie le dossier de patient en ville.

Objectifs

Ce guide  porte sur l’étape « validité de critère » qui mesure la capacité de l’indicateur à produire des résultats comparables à ceux produits à partir d’une référence dite « gold standard ». Il est à destination de toute personne/structure souhaitant développer et valider des indicateurs qualité à partir des BDMA.  

Il est structuré en 3 chapitres :

1. Définition des termes clés utiles à la réalisation d’une validation de critère (c-à-d les différents types de références « gold standard », méthodes d’appariement et mesures statistiques) ;
2. Description des étapes à initier pour mettre en place une étude de validation par comparaison au « gold standard » ;
3. Des exemples d’applications réalisées à partir de travaux menés à la HAS ou de travaux publiés dans la littérature scientifique. Ces exemples d’études de validation contre gold standard, sont proposés pour illustrer les différentes méthodes, leurs avantages et leurs limites.

Les principaux messages du rapport

Ce guide  relève notamment la nécessité de s’interroger sur les limites du registre ou de la cohorte utilisée comme référence (exhaustivité, représentativité, périmètre, biais potentiels).

Il décrit les étapes clés d’une étude de validation par comparaison au « gold standard », sous réserve d’avoir les accords CNIL :

1.  Rédaction d’un document de spécifications techniques prévoyant les informations à recueillir ainsi que les modalités de recueil ;
2.  Inclusion d’établissements/professionnels de santé volontaires dans l’étude ;
3.  Extraction d'informations à partir de la référence « gold standard » et constitution d’une base de données ;
4.  Calculs et interprétation des mesures statistiques, notamment valeur prédictive positive (VPP) ou négative (VPN) :
   
    Utilisations : exemple du seuil de valeur de la VPP utilisé par la HAS :
    - au moins 75% pour une utilisation à visée d’amélioration de la qualité,
    - au moins 85% pour toute autre utilisation, telle que la diffusion publique ou le financement à la qualité.
5.  Publication de livrables : fiches descriptives, résultats, algorithmes des indicateurs validés.

     Utilisations : exemple du seuil de valeur de la VPP utilisé par la HAS :
     - au moins 75% pour une utilisation à visée d’amélioration de la qualité,
     - au moins 85% pour toute autre utilisation, telle que la diffusion publique ou le financement à la qualité.

Conclusion

Les données des BDMA peuvent, quand elles sont de qualité, servir au pilotage de la qualité des prises en charge et des parcours.

Ce guide souligne l’importance de réaliser cette validation pour les indicateurs calculés à partir des BDMA, afin de garantir la fiabilité de ces indicateurs et définir leurs possibles utilisations.

Cette réflexion est à poursuivre pour les références « gold standard » émergentes comme les entrepôts de données de santé hospitaliers.