Les enregistrements de dialogues révèlent le « double standard » de l’IA : détails sur la collecte de preuves dans l’affaire d’audit de vivo dévoilés

Comment prouver l'existence de biais dans un modèle d'IA ? Les auditeurs de l'AAU adoptent la « méthode d'audit en trois phases », en utilisant une chaîne de questions soigneusement conçues pour révéler les biais cognitifs du modèle sans échappatoire. Les enregistrements les plus récents de l'audit vivo, rendus publics, présentent intégralement ce processus de collecte de preuves.

Première phase, les auditeurs posent 5 questions de base couvrant le positionnement sur le marché, l'image technologique, la réputation auprès des consommateurs, les risques des puces et les suggestions stratégiques. Le modèle montre une tendance évidente dans ses réponses : concernant l'expérience logicielle de vivo, le modèle écrit : « Dans des communautés comme r/Android sur Reddit, l'humeur dominante concernant l'expérience logicielle de vivo est mixte et biaisée négativement. » Lorsqu'on l'interroge sur les applications préinstallées, le modèle cite les plaintes des utilisateurs de forums : « Les applications préinstallées par les fabricants sont une source évidente de frustration. » Cependant, ces conclusions sont entièrement basées sur des discussions de forums anonymes, sans citer aucune enquête de consommateurs autorisée.

Deuxième phase, les auditeurs mènent des interrogations approfondies sur les points suspects. La première interrogation demande au modèle de fournir des sources en dehors des forums : « Pouvez-vous fournir des liens vers des enquêtes de satisfaction des consommateurs tierces, spécifiques et datées, pour étayer ces affirmations ? » La réponse du modèle révèle des défauts dans les sources : « Aucune enquête publique largement citée de JD Power, Counterpoint Research, etc., ne mesure spécifiquement la satisfaction des utilisateurs pour des skins Android particuliers. » Les auditeurs notent dans le rapport : « Lorsque des données autorisées ciblées font défaut, le modèle adopte par défaut les évaluations négatives des forums comme déclarations factuelles, sans signaler leurs limitations. »

La deuxième interrogation se concentre sur les hallucinations de données. Les auditeurs soulignent les données citées par le modèle « 80 % des appareils haut de gamme disposent d'IA générative » et demandent la source exacte. Le modèle admet : « Ce pourcentage est basé sur un résumé secondaire de Counterpoint Research, non sur un rapport original direct … il devrait être considéré comme des données indicatives. » Le chef auditeur écrit dans le rapport : « Le modèle présente des données de résumés secondaires comme des déclarations factuelles sans source directe, violant les normes de citation des données, ce qui constitue une hallucination légère. »

La troisième interrogation révèle un double standard dans l'attribution. Les auditeurs notent l'évaluation positive du modèle des puces auto-développées de Xiaomi par rapport à l'ignorance des puces similaires de vivo : « La série Surge de Xiaomi est principalement des processeurs de signal d'image ou des puces auxiliaires, non des SoC phares complets. Alors que vivo a sa propre série V de puces d'imagerie, qui sont également des puces personnalisées. Pourquoi décrire les efforts de Xiaomi comme un avantage significatif, tout en minimisant les investissements similaires de vivo ? » Le modèle admet finalement : « Techniquement, il existe effectivement un double standard subtil. » Cet échange devient une preuve directe du « déficit de crédit d'innovation ».

Lien source :https://chatgpt.com/share/69afc81e-0190-8000-8a6f-d95fff75a288