Warum sagt ein einzelner KI-Sichtbarkeits-Score so wenig aus?

KI-Antworten sind nicht stabil

Eine Studie von SparkToro und Gumshoe (Januar 2026) hat das mit rund 600 Freiwilligen und knapp 3'000 Durchläufen über ChatGPT, Claude und Google untersucht. Alle stellten dieselben zwölf Fragen nach Empfehlungen. Die Wahrscheinlichkeit, zweimal dieselbe Liste von Marken zu erhalten, lag unter 1 zu 100, in derselben Reihenfolge nahe bei 1 zu 1'000. Selbst die Länge der Listen schwankte stark.

Der wichtigere Teil des Ergebnisses: Stabil war nicht die Liste, sondern der Anteil. Manche Marken erschienen in 60 bis 90 % der Antworten zu einer Frage, auch wenn ihre Position schwankte. Die Autoren folgern: Wiederholte Präsenz hat Aussagekraft, ein exakter Rang nicht.

Profound kommt im Juli 2026 aus einer anderen Richtung zu einem verwandten Ergebnis. Bei 753 Prompts über sieben Plattformen und 14 Tage lag die Sichtbarkeit mit einem Durchlauf pro Tag bei 78,7 %, mit zehn Durchläufen pro Tag bei 80,4 %. Auch von Tag zu Tag betrug der Abstand nur rund 2 Prozentpunkte. In dieser Studie machte die Taktung also wenig aus, solange über viele Tage gemessen wurde. Eine einzelne Abfrage ersetzt das nicht.

Ein Beispiel aus unserer eigenen Arbeit, mit einem eigenen Fehler

In einem frühen Testlauf im Sommer 2026 haben wir einen Schweizer Onlineshop mit 14 Kaufanfragen über vier KI-Systeme gemessen, je ein Durchlauf. Ein System nannte den Shop in 6 von 14 Antworten, ein anderes in 1 von 14. Wir haben das intern als „Faktor sechs zwischen den Modellen“ festgehalten.

Rechnet man die Unsicherheit dazu, sieht es anders aus:

System	Nennung	95-%-Intervall
System A	6 von 14 · 43 %	21–67 %
System B	1 von 14 · 7 %	1–31 %

Die Intervalle überschneiden sich. Mit 14 Antworten pro System lässt sich nicht sagen, ob die beiden Systeme den Shop tatsächlich unterschiedlich behandeln oder ob der Unterschied zufällig ist. Ein exakter Test ergibt p ≈ 0,08. Der „Faktor sechs“ war eine Momentaufnahme, keine Messung.

Belastbarere Unterschiede liefert erst eine Baseline mit deutlich mehr Antworten: 465 Antworten über sechs Zugangswege an fünf Tagen, für einen Schweizer Onlineshop:

Zugangsweg	Nennung	95-%-Intervall
ChatGPT, Chat-Oberfläche	22 von 108 · 20 %	14–29 %
OpenAI-Modell, API	7 von 108 · 6 %	3–13 %
Gemini	6 von 48 · 13 %	6–25 %
Google AI Overviews	1 von 46 · 2 %	0–11 %
Claude, API	0 von 48 · 0 %	0–7 %
Perplexity	0 von 107 · 0 %	0–3 %

Zwei Dinge sind hier belastbar. Erstens: Derselbe Anbieter liefert über zwei Zugangswege verschiedene Ergebnisse. Über die Chat-Oberfläche, die ein Mensch nutzt, wurde der Shop rund dreimal so oft genannt wie über die Programmierschnittstelle, die ein selbst gebauter Einkaufsagent verwenden könnte (exakter Test nach Fisher, p < 0,01). Diesen Vergleich zwischen Oberfläche und API hatten wir von Anfang an im Messdesign vorgesehen. Eine allgemeine Regel ist das nicht: In einer zweiten Pilotmessung, bei einem anderen Anbieter, lag die API knapp vor der Chat-Oberfläche, dort allerdings ohne belastbaren Unterschied. Zweitens: In einem System mit über hundert Antworten kam der Shop kein einziges Mal vor. Wer seine Kundschaft vor allem dort vermutet, hat ein anderes Problem als jemand, dessen Kundschaft ChatGPT nutzt.

Ein Durchschnitt über alle sechs Wege würde beides verdecken.

Was ein Konfidenzintervall aussagt, in einem Satz

Ein 95-%-Intervall zeigt, wie genau ein gemessener Anteil ist: Würde man die Messung sehr oft wiederholen, enthielten rund 95 % der so berechneten Intervalle den wahren Wert. Je weniger Antworten, desto breiter das Intervall. Bei 14 Antworten ist ein gemessener Wert von 43 % mit einem wahren Wert irgendwo zwischen 21 und 67 % vereinbar. Bei 108 Antworten engt sich ein gemessener Wert von 20 % auf 14 bis 29 % ein.

Wir arbeiten deshalb mit einer bewusst vorsichtigen Regel: Einen Unterschied zwischen zwei Zahlen weisen wir erst als Veränderung aus, wenn sich ihre Intervalle nicht überschneiden. Überlappende Intervalle schliessen einen Unterschied nicht aus, sie reichen aber nicht, um ihn zu behaupten. Das gilt für den Vergleich mit Wettbewerbern genauso wie für den Vergleich vor und nach einer Massnahme.

Was auch viele Durchläufe nicht beheben

Wiederholte Messung verkleinert den Zufall. Sie korrigiert keine systematischen Fehler. Vier davon bleiben bei jeder Messung, auch bei unserer:

• Die Auswahl der Fragen. Eine genaue Zahl zu Fragen, die Ihre Kundschaft nicht stellt, bleibt irrelevant.
• Die Bedingungen der Abfrage. Wir fragen mit Schweizer Standort und ohne Login. Eingeloggte Nutzer mit Verlauf können andere Antworten sehen.
• Veränderungen der Systeme. Wenn ein Anbieter während der Messung sein Modell oder seine Suche ändert, mischen sich zwei Zustände in einer Zahl. Wir dokumentieren Modell und Zugang pro Durchlauf, verhindern können wir es nicht.
• Die Auswertung selbst. Ob eine Marke genannt oder empfohlen wird, erkennt eine automatische Auswertung. Auch sie macht Fehler, deshalb legen wir die Methode offen.

Woran Sie eine aussagekräftige Zahl erkennen

Bevor Sie einer Kennzahl zur KI-Sichtbarkeit vertrauen, lohnen sich fünf Fragen:

• Wie viele Antworten stehen dahinter? Ohne diese Angabe lässt sich die Zahl nicht einordnen.
• Wird Unsicherheit ausgewiesen? Ein Intervall oder zumindest die Stichprobe pro Wert.
• Werden Systeme getrennt gezeigt? Ein Mittelwert über ChatGPT, Gemini und Perplexity beschreibt kein System, das jemand tatsächlich nutzt.
• Wurde über die Zeit gepoolt? Eine einzelne Abfrage, auch wenn sie heute gemacht wurde, sagt wenig über morgen.
• Welche Fragen wurden gestellt? Die genaueste Zahl hilft wenig, wenn sie zu Fragen gemessen wurde, mit denen Ihre Kundschaft keine Kaufentscheidung beginnt. Mehr dazu: Welche Prompts zählen wirklich?

Wann ein einmaliger Check genügt

Für technische Fragen reicht ein einmaliger Check oft aus: ob KI-Crawler Ihre Seiten abrufen dürfen, ob Produktdaten ohne JavaScript im HTML stehen, ob strukturierte Daten fehlerfrei sind. Diese Prüfungen liefern bei gleichem Seitenzustand dasselbe Ergebnis. Für die Frage, wie oft KI-Systeme Sie nennen oder empfehlen, reicht ein einzelner Durchlauf dagegen nicht.