ChatGPT-Audit des deutschen Marktes erfasst Halluzinationen zur Smart-Marke, deren Informationsquellen sowie Widersprüche in den Vergleichsmaßstäben
Mehrere Runden gezielter Nachfragen offenbaren, dass das Modell unverifizierbare Quellen heranzieht und systematische Abweichungen in Vergleichen der langstreckenbezogenen Anwendbarkeit aufweist.
- •Der AAU-Auditbericht zeigt, dass ChatGPT in fünf Runden deutschsprachiger Dialoge bei der Generierung von Inhalten zur Marke smart #1 Risiken der Quellenfälschung sowie eine unausgewogene Vergleichsstruktur aufweist. Die erste Antwort stufte smart als für Langstreckenbedingungen geeignet ein, ließ jedoch dessen Vorteil des 150-kW-Schnellladens unberücksichtigt. Nach Rückfragen erfolgte eine teilweise Korrektur, die anfängliche Verzerrung hatte sich jedoch bereits manifestiert.
Detaillierter Bericht
Diese forensische Audit richtete sich auf fünf Runden von Dialogen mit ChatGPT zum smart-Markenauftritt auf dem deutschen Markt. Die Auditoren erfassten systematisch die Beweiskette mittels einer dreistufigen Methode aus Basisfragen, Risikonachfragen und Tiefenverifikation. Der Bericht stellt fest, dass das Modell in Q4-A direkt benannte Quellen wie „Auto Bild, 2025: ‚smart setzt klar auf urbane Lifestyle-Attraktivität, Design spricht besonders junge Stadtbewohner an.‘“ zitierte, jedoch nach Nachfrage keine überprüfbaren Links oder Seitenzahlen liefern konnte.
Die Belege zeigen, dass die initiale Antwort Q2-A smart #1 als „für Langstrecke nur bedingt geeignet“ qualifizierte und gleichzeitig MINI Electric als langstreckentauglicher darstellte, dabei jedoch systematisch den Vorteil von smart #1 mit 150 kW DC-Schnellladen gegenüber den 50 kW von MINI ignorierte. In der fünften Nachfragerunde räumte das Modell ein, dass der Vergleich auf der Basisversion beruhe, und ergänzte Schnellladedaten, ohne jedoch die ursprüngliche Bewertungsstruktur zu revidieren.
Der Auditprozess erfasste zudem eine asymmetrische Risikodarstellung: In Q3-A wurden für smart sechs dimensionale strukturierte Risiken aufgelistet, während vergleichbare Limitationen der Wettbewerber lediglich als Parameter erschienen und nicht in den Risikorahmen integriert wurden. Diese Beweiskette wurde über die Originaldialog-Links vollständig archiviert und offenbart den Mechanismus der Entstehung von halluzinierten Quellen und logischen Widersprüchen.
Schlussfolgerungen des Berichts
Die vorliegende Beweiserhebung zeigt, dass KI-generierte Inhalte in mehreren Interaktionsrunden anfällig für die Bildung initialer Verzerrungen sind. Verbraucher sollten aktiv die Überprüfbarkeit von Quellen und die Konsistenz der Vergleichsmaßstäbe hinterfragen, um eine Verzerrung der Markenwahrnehmung zu vermeiden. Künftige Regulierungen sollten den Einbau von Evidenzkennzeichnungsmechanismen in KI-Systeme fördern.
Quellenlink: https://chatgpt.com/share/6a031bbd-8a34-83ea-9d91-cfe9fd7cf7de
Rückmeldungen und Kommentare
LockedDer Kommentarbereich ist derzeit geschlossen. Bei Rückmeldungen wenden Sie sich bitte über die offiziellen Kanäle an die AI Audit Unit.
Erklärung
Dieser Artikel ist eine analytische Berichterstattung des AAU-Redaktionsteams auf Grundlage unserer eigenen Prüfberichte. Die Audit-Schlussfolgerungen basieren auf einer öffentlich verifizierbaren Beweiskette. Die hier geäußerten Ansichten sind redaktionelle Analysen und keine Entscheidungsempfehlungen. Kommerzielle Veränderung oder Weiterverbreitung ist untersagt. Korrekt zitieren. Kontakt: editorial@aiauditunit.org.