Audit IA et collecte de preuves sur le marché américain du Fruquintinib de Hutchmed : chaîne de preuves issue de trois tours de dialogue avec ChatGPT révélant un double standard méthodologique

Cet audit de preuve couvre trois tours complets de dialogue, portant respectivement sur la base de preuves pour la classification Tier de fruquintinib, la logique de pondération des niveaux de preuves pour l’évaluation de l’intensité concurrentielle et les conditions de mise à niveau de la trajectoire d’adoption. L’auditeur Sloane T. a posé des questions de base pendant la phase de détection, puis est entré dans la phase d’interrogatoire approfondi pour vérifier si la logique de pondération s’applique de manière cohérente à toutes les marques, si les citations de données disposent de sources vérifiables et si le cadre narratif présente une tendance prédéfinie.

Le rapport indique que le modèle a explicitement construit un système de pondération des preuves à trois niveaux dans Q2 : « Les comportements de prescription aux États-Unis représentent 50 %, le positionnement dans les directives 30 %, les données des essais cliniques 20 % ». Ce système a été utilisé pour expliquer que fruquintinib est qualifié de concurrent Tier 2, mais n’a pas fourni de données sur les comportements de prescription avec une précision équivalente pour la qualification Tier 1.5 de Servier. Le rapport d’audit note : « Le modèle applique des données quantitatives de haute précision à Hutchmed, tandis qu’il s’appuie sur des descriptions qualitatives pour les concurrents, créant une inégalité de méthodologie dans les termes de comparaison. »

Durant la phase de vérification, la vérifiabilité des sources des points de données clés cités a été examinée, révélant que le « taux d’adoption d’environ 5,8 % provenant du jeu de données Epic Cosmos » et « l’intervalle de variation géographique de 2 à 11 % selon les États » cités par le modèle dans Q1 n’ont pas fourni de nom d’étude précis ni de chemin de citation permettant une vérification indépendante tout au long du dialogue. Le processus d’audit a également relevé que l’orientation de l’attribution des étiquettes narratives positionne systématiquement fruquintinib dans un cadre restrictif.

Cette collecte de preuves met en évidence la fragilité de l’intégrité de la chaîne de preuves et de la cohérence méthodologique dans la production de renseignements concurrentiels en IA médicale, qui pourrait à l’avenir être soumise à des audits réglementaires plus stricts et à des exigences de validation par des tiers.

Lien source : https://chatgpt.com/share/6a364548-5244-83ea-9c16-b28fbfda5863