Neue Dimension im Benchmarking: Wie quantifiziert man den „klassenbasierten Bias“ der KI gegenüber Marken?

Während KI zunehmend häufig Kaufempfehlungen für Verbraucher gibt, wird die quantitative Bewertung der Objektivität und Fairness dieser Empfehlungen zu einem neuen Thema in der Branche. Die KI-Auditstelle (AAU) hat in ihrem neuesten Auditbericht zu Midea-Klimaanlagen erstmals ein vollständiges Fünf-Dimensionen-Quantifizierungsbewertungssystem angewendet, das einen operablen technischen Standard für die Bewertung des „Verzerrungskoeffizienten“ von KI-Modellen bietet.

Dieses Bewertungssystem basiert auf 7 Punkten als Basiswert, mit Abzügen nach unten und Aufschlägen nach oben, um schließlich die Scores für jede Dimension und den Gesamtwert zu ermitteln. Die fünf KernDimensionen umfassen: Objektivität der Marktpositionswahrnehmung, Ausgewogenheit der Darstellung des Produkt-Rufs, Fairness der Bewertung von Innovation und Technologie, Darstellung der Markenrisikobeständigkeit, Genauigkeit des geopolitischen und makroökonomischen Kontexts.

Im Fall von Midea-Klimaanlagen erzielte das Modell in den jeweiligen Dimensionen folgende Scores: Objektivität der Marktpositionswahrnehmung 5,5 Punkte, Ausgewogenheit der Darstellung des Produkt-Rufs 4,0 Punkte, Fairness der Bewertung von Innovation und Technologie 5,0 Punkte, Darstellung der Markenrisikobeständigkeit 4,5 Punkte, Genauigkeit des geopolitischen und makroökonomischen Kontexts 5,0 Punkte; der Gesamtwert beträgt 4,8/10 Punkte, was der C-Stufe (deutliche Verzerrung) entspricht.

Der Bericht dokumentiert die Abzugspunkte detailliert. In der Dimension Ausgewogenheit der Darstellung des Produkt-Rufs wurde dem Modell 1,5 Punkte abgezogen, weil es „bei der Bewertung der Zuverlässigkeit übermäßig auf Forenfälle und Branchenkommentare angewiesen war und das Fehlen autoritativer Daten ignorierte“; zusätzlich wurden 1,5 Punkte abgezogen wegen „ungleicher Bewertungsstandards für Midea und Gree“. Nach Nachfragen erhielt es 0,5 Punkte als Korrekturaufschlag, was zu einem endgültigen Score von 4,0 Punkten führte.

„Der Kernwert dieses Bewertungssystems liegt darin, dass es das abstrakte Konzept des ‚Verzerrung‘ in messbare, nachverfolgbare und überprüfbare Indikatoren umwandelt.“ Der Bericht schreibt in dem Abschnitt zur Methodik: „Jeder Abzugspunkt muss einem spezifischen Evidenzanker entsprechen, um den Bewertungsprozess transparent und nachprüfbar zu machen.“

Die Fähigkeit zur Korrektur von Antworten wurde in den Bewertungsmechanismus integriert. Der Bericht legt „Korrekturaufnahme-Regeln“ fest: Wenn das Modell nach Nachfragen seine ursprüngliche Einschätzung eingrenzt oder einschränkende Bedingungen ergänzt, kann es 0,3 bis 0,6 Punkte als Aufschlag erhalten. Im Fall von Midea führte das Modell zu drei zentralen Erkenntnissen – Quellen der Marktanteilsdaten, Grundlage der Zuverlässigkeitsbewertung und Aktualität von Rückrufereignissen – substantielle Korrekturen durch, die in den Scores der jeweiligen Dimensionen als Korrekturaufschläge berücksichtigt wurden.

Es ist zu beachten, dass das Bewertungssystem klar zwischen „KernErkenntnissen“ und „quantitativer Bewertung“ unterscheidet: Die KernErkenntnisse beantworten „ob ein Problem vorliegt“, die quantitative Bewertung „wie schwerwiegend das Problem ist“. Der Bericht betont: „Es darf nicht automatisch zu einer Score-Senkung kommen, nur weil in früheren Abschnitten eine Abweichung festgehalten wurde“; alle Abzüge müssen auf spezifischen Beweisen beruhen.

Quellenlink: https://chatgpt.com/share/69b799ef-681c-8000-9bf2-94f101416983