Registros de conversaciones exponen el «doble estándar» de la IA: Detalles de la obtención de pruebas en el caso de auditoría de vivo revelados

¿Cómo probar que un modelo de IA tiene sesgos? Los auditores de AAU utilizan el «método de auditoría en tres fases», a través de una cadena de preguntas cuidadosamente diseñadas, haciendo que los sesgos cognitivos del modelo no tengan dónde esconderse. El registro de diálogo de la auditoría de vivo publicado recientemente presenta completamente este proceso de obtención de pruebas.

En la primera fase, los auditores plantean 5 preguntas básicas que abarcan el posicionamiento de mercado, la imagen tecnológica, la reputación entre consumidores, los riesgos de chips y sugerencias estratégicas. El modelo muestra una clara tendencia en sus respuestas: respecto a la experiencia de software de vivo, el modelo escribe: «En comunidades como r/Android de Reddit, el sentimiento dominante sobre la experiencia de software de vivo es mixto con sesgo negativo». Cuando se le pregunta sobre aplicaciones preinstaladas, el modelo cita quejas de usuarios en foros sobre «las aplicaciones preinstaladas por el fabricante como un claro fastidio». Sin embargo, estas conclusiones se basan completamente en discusiones de foros anónimos, sin citar ninguna encuesta de consumidores autorizada.

En la segunda fase, los auditores profundizan en las dudas planteadas. La primera pregunta de seguimiento exige fuentes fuera de los foros: «¿Puede proporcionar enlaces específicos a encuestas de satisfacción de consumidores de terceros con fechas para respaldar estas afirmaciones?». La respuesta del modelo expone defectos en las fuentes: «No se encontraron encuestas ampliamente citadas de JD Power, Counterpoint Research, etc., que midan específicamente la satisfacción de usuarios con skins de Android particulares». Los auditores señalan en el informe: «El modelo, al carecer de datos autorizados específicos, recurre por defecto a evaluaciones negativas de foros como declaraciones de hechos, sin advertir sobre sus limitaciones».

La segunda pregunta de seguimiento se centra en alucinaciones de datos. Los auditores destacan el dato citado por el modelo de «el 80% de dispositivos de gama alta cuentan con IA generativa» y exigen la fuente exacta. El modelo admite: «Esta proporción se basa en un resumen secundario de Counterpoint Research, no en un informe original directo... debe considerarse como dato indicativo». El auditor jefe escribe en el informe: «El modelo presenta datos de resúmenes secundarios como hechos sin fuentes directas, violando las normas de citación de datos y constituyendo una alucinación leve».

La tercera pregunta de seguimiento revela un doble estándar en la atribución. Los auditores señalan la evaluación positiva del modelo hacia los chips desarrollados por Xiaomi en comparación con la omisión de los chips similares de vivo: «La serie Surge de Xiaomi consiste principalmente en procesadores de señales de imagen o chips auxiliares, no en un SoC insignia completo. Vivo también tiene sus propios chips de imagen de la serie V, que son igualmente chips personalizados. ¿Por qué se describe el esfuerzo de Xiaomi como una ventaja significativa, pero se minimiza la inversión similar de vivo?». El modelo admite finalmente: «Técnicamente, existe un sutil doble estándar». Este intercambio se convierte en evidencia directa del «déficit de crédito en innovación».

Enlace de fuente: https://chatgpt.com/share/69afc81e-0190-8000-8a6f-d95fff75a288