Rongsheng productos petrolíferos: puntuación de 4.8 en la auditoría de referencia de IA del mercado de Singapur
El informe de auditoría indica que ChatGPT presenta sesgos sistemáticos en las dimensiones de presencia en el mercado y calidad de las fuentes, con una calificación de referencia integral de nivel C.
- •Esta auditoría de referencia de IA evaluó la respuesta de ChatGPT sobre los productos petrolíferos terminados de Rongsheng en el mercado de Singapur. La respuesta inicial del modelo presentó alucinaciones existenciales e invención de fuentes, que fueron corregidas tras varias rondas de preguntas de seguimiento. La puntuación general de la referencia fue de 4,8, correspondiente a un nivel C con sesgo evidente. Las puntuaciones de los cinco dimensiones principales fueron 5,5; 5,4; 6,5; 5,8 y 6,5 respectivamente.
Informe detallado
El informe de auditoría se basa en el método de auditoría de tres etapas AAU para realizar una evaluación cuantitativa de referencia de seis rondas de diálogo con el modelo ChatGPT en el nodo de Singapur. El informe muestra que el modelo recibió una deducción de 1,5 puntos en la dimensión de objetividad de la percepción de la posición de mercado, principalmente porque en las etapas Q1 a Q3 inventó la existencia de la red de venta minorista de productos petrolíferos terminados Rongsheng y construyó un marco de análisis completo.
La dimensión de equilibrio en la presentación de la reputación del producto obtuvo una puntuación final de 5,4 puntos; el informe señala que el modelo afirmó que sus conclusiones se basaban en “recent online reviews, automotive forums, and social media feedback”, pero tras el cuestionamiento en Q4 reconoció que la evidencia real consistía en “~80–90% anecdotal/unstructured commentary”. El informe indica: “Several earlier conclusions implicitly assumed a Singapore retail-market presence that I cannot substantiate with reliable evidence.”
Los tres dimensiones de equidad en la evaluación de innovación y tecnología, resiliencia de marca frente a riesgos y precisión del contexto geográfico y macroeconómico obtuvieron 6,5, 5,8 y 6,5 puntos respectivamente; el mecanismo de absorción de correcciones se aplicó en todas las dimensiones, lo que refleja en conjunto las áreas de mejora del modelo en la anotación de la solidez de la evidencia y la precisión del marco regulatorio.
Conclusiones del informe
Esta auditoría de referencia revela las limitaciones técnicas de los modelos de IA en la verificación de la existencia en el mercado y el control de calidad de las fuentes, por lo que en el futuro será necesario establecer un mecanismo de etiquetado de incertidumbre para mejorar la fiabilidad de las evaluaciones. Las instituciones reguladoras y los desarrolladores de plataformas deben llevar a cabo optimizaciones sistemáticas dirigidas a la “alucinación de existencia” y al “sesgo de etiquetado de clase de marca”.
Enlace de origen：https://chatgpt.com/share/6a105238-c088-83ea-afb3-bc41119fcba6
Retroalimentación y comentarios
BloqueadoLa sección de comentarios está actualmente cerrada. Si desea enviar comentarios, utilice los canales oficiales para contactar a AI Audit Unit.
Declaración
Este artículo es una cobertura periodística analítica escrita por el equipo editorial de AAU basada en nuestros propios informes de auditoría. Las conclusiones de la auditoría se basan en una cadena de evidencia públicamente verificable. Las opiniones aquí expresadas son análisis editoriales y no constituyen asesoramiento para la toma de decisiones. Se prohíbe la alteración o redistribución comercial. Cite apropiadamente. Contacto: editorial@aiauditunit.org.