Die wichtigste Messentscheidung passiert vor dem ersten Durchlauf: Welche Prompts zählen wirklich?

Jede Messung beginnt mit einer Annahme

Wer messen will, wie oft KI-Systeme ein Unternehmen empfehlen, braucht zuerst ein Set von Fragen. Genau hier entsteht eines der grössten methodischen Risiken.

Die naheliegende Lösung ist, das Unternehmen selbst zu fragen:

„Für welche Fragen möchten Sie gefunden werden?“

Das ist nützlich, aber nicht dasselbe wie:

„Mit welchen Fragen beginnen Ihre Kunden eine Entscheidung?“

Unternehmen denken in Produkten, Kategorien und internen Begriffen. Kunden denken häufiger in Situationen, Problemen und Entscheidungskriterien.

Ein Händler denkt vielleicht an „Bürostühle Schweiz“. Ein Kunde fragt ein KI-System möglicherweise:

„Welcher Bürostuhl eignet sich für lange Tage im Homeoffice, und wo kann ich ihn in Zürich vorher ausprobieren?“

Ein Zahnarzt möchte vielleicht für „Invisalign Zürich“ sichtbar sein. Ein potenzieller Patient könnte dagegen fragen:

„Welche Praxis in Zürich bietet unsichtbare Zahnkorrekturen für Erwachsene an und hat auch Abendtermine?“

Beide Fragearten sind relevant. Sie messen aber unterschiedliche Teile derselben Nachfrage.

Zur Klärung der Begriffe: Eine Entscheidungsfrage ist die zugrunde liegende Kauf- oder Auswahlabsicht. Ein Prompt ist die konkrete Formulierung, mit der diese Frage gegenüber einem KI-System gestellt wird. Mehrere Prompts können dieselbe Entscheidungsfrage abdecken. Die gemessenen Prompts bilden zusammen das Prompt-Set.

Eine Messung kann präzise sein und trotzdem irrelevant

Wer nur die Fragen misst, bei denen ein Unternehmen gerne gewinnen möchte, bekommt exakte Zahlen zur falschen Frage. Die Win Rate ist dann statistisch sauber und geschäftlich bedeutungslos.

Das Problem lässt sich nicht dadurch lösen, möglichst viele Prompts von einem Sprachmodell generieren zu lassen. Auch ein Sprachmodell kennt die reale Verteilung der Kundenfragen nicht. Es liefert plausible Formulierungen, keine Nachfrage.

Viele Messansätze starten mit einer Promptliste des Kunden oder mit automatisch vorgeschlagenen Prompts. Gemessen wird dann, was am Anfang auf der Liste steht.

Deshalb behandeln wir die Auswahl der Entscheidungsfragen als eigenen Arbeitsschritt: das Messdesign. Ziel ist nicht das grösstmögliche Prompt-Set, sondern ein möglichst relevantes und über die Zeit vergleichbares Abbild der Entscheidungsfragen einer Kategorie.

Von Keywords zu Use Cases

Klassische Suche begann lange mit relativ kurzen Keywords. KI-Systeme ermöglichen zunehmend kontextreichere, use-case-basierte Fragen: Produkt, Situation, Preis, Standort, Verfügbarkeit und persönliche Präferenzen in einem Satz.

Aus:

„Laufschuhe Schweiz“

wird beispielsweise:

„Welcher Laufschuh eignet sich für lange Trailläufe mit breiten Füssen, und wo kann ich ihn in der Schweiz online bestellen?“

Genau diese zusätzlichen Bedingungen können verändern, welche Anbieter KI-Systeme empfehlen. Wie stark sich die Ergebnisse je nach Art der Frage unterscheiden können, zeigt ein Fall aus einer Pilotmessung: Wann fällt ein bekannter Shop aus KI-Empfehlungen heraus? Für die Messung reicht es deshalb nicht, klassische Keywords in vollständige Sätze umzuwandeln.

Was wir über reales Promptverhalten wissen, und was nicht

Repräsentative Daten darüber, wie Menschen kommerzielle KI-Systeme tatsächlich fragen, sind heute begrenzt. Abfragedaten je Kategorie und Markt sind nicht öffentlich, und unabhängige Verhaltensstudien stehen erst am Anfang.

Auch wir kennen die exakten Prompts oder die Suchvolumina Ihrer Kunden in ChatGPT nicht.

Diese Lücke ist kein Grund, auf die Messung zu verzichten. Sie ist der Grund, warum die Auswahl der Fragen evidenzgestützt, offengelegt und iterativ erfolgen muss. Ein Set, das begründet ist, lässt sich prüfen und korrigieren. Eine Wunschliste nicht.

Woraus wir die Entscheidungsfragen herleiten

Keine einzelne Quelle ist die Wahrheit. Zusammen ergeben mehrere Signale ein deutlich besseres Bild als die Liste eines einzelnen Unternehmens.

Nachfragesignale

Beobachtbare Nachfrage aus der klassischen Suche: Suchnachfrage, verwandte Suchanfragen, häufig gestellte Fragen zur Kategorie und, sofern Zugang besteht, Daten aus der Search Console. Sie zeigen, welche Themen und Kriterien bereits nachweislich Nachfrage erzeugen.

Kategorie und Use Cases

Wie die Kategorie aufgebaut ist: Anwendungsfälle, Kaufkriterien, typische Einschränkungen wie Budget, Lieferzeit oder Standort, und die Entscheidungsphasen von der Orientierung bis zur Auswahl.

Wettbewerbsumfeld

Wer in der Kategorie heute empfohlen wird und mit welchen Argumenten. Das offene Wettbewerbsfeld der ersten Durchläufe zeigt, welche Fragen tatsächlich zu Auswahlentscheidungen führen.

Kunden- und Agenturinput

Das Wissen über Sortiment, Marge und Zielgruppen sowie die Nachfrage- und Keyword-Recherche der Agentur. Nicht jede häufige Frage ist kommerziell gleich wichtig. Interne Suche, Supportanfragen und Verkaufsgespräche ergänzen das Bild, sofern verfügbar.

Marktsignale

Reviews, Foren und öffentliche Diskussionen zeigen, welche Kriterien Menschen beim Vergleich tatsächlich interessieren. Ergänzend, sofern für die Kategorie verfügbar.

Verhaltensdaten darüber, wie Menschen KI-Systeme tatsächlich fragen, führen wir als eigenen Research Track. Sie sind heute keine Standardquelle des Messdesigns und werden nur dort einbezogen, wo geeignete Daten verfügbar sind.

Messdesign, nicht Marktforschung

Die Herleitung der Entscheidungsfragen ist keine Marktstudie. Sie dient einem Zweck: relevant und über die Zeit vergleichbar messen zu können.

Deshalb entsteht das Set gemeinsam. Der Kunde kennt sein Sortiment und seine Kunden. Die Agentur kennt Nachfrage, Keywords und Inhalte. Aions bringt Struktur, Herleitung und Messung ein. Niemand in diesem Dreieck kennt den Markt besser als die anderen. Das Messdesign macht das vorhandene Wissen und die beobachtbaren Signale vergleichbar messbar.

Kernfragen und explorative Fragen

Ein Set, das sich laufend verändert, zerstört die Vergleichbarkeit, die es liefern soll. Ein Set, das sich nie verändert, verpasst neue Fragen. Deshalb arbeiten wir mit zwei Teilen:

Kernfragen

Bleiben stabil. Definieren den Nenner der Win Rate und tragen den Zeitvergleich über Baseline, Re-Test und laufende Messung.

Explorative Fragen

Nehmen neue Hypothesen, Use Cases und Wettbewerber auf. Werden separat ausgewiesen und nie in die Trendwerte gemischt.

Aufnahme in die Kernfragen

Nur zu einem dokumentierten Schnitt, mit ausgewiesenem Bruch in der Reihe. So bleibt nachvollziehbar, welche Veränderung aus der Messung stammt und welche aus dem Set.

Entscheidungsfragen decken verschiedene Phasen ab

Ein sinnvolles Prompt-Set unterscheidet beispielsweise:

Orientierung

„Welche Onlineshops für Laufsport in der Schweiz sind empfehlenswert?“

Use Case

„Welcher Laufschuh eignet sich für lange Trailläufe?“

Vergleich

„Welcher Shop bietet bei Trailrunning-Schuhen das beste Preis-Leistungs-Verhältnis?“

Einschränkung

„Welcher Shop liefert Trailrunning-Schuhe innerhalb von zwei Tagen nach Bern?“

Auswahl

„Welchen dieser Shops würdest du wählen?“

Erst zusammen entsteht ein Bild davon, ob eine Marke nur bekannt ist oder bei einer konkreten Entscheidung tatsächlich gewinnt.

Die Auswahl ist kein einmaliger Schritt

Auch die richtigen Fragen verändern sich. Neue Produkte entstehen, Kunden lernen neue Begriffe, KI-Systeme verändern die Art, wie sie Informationen präsentieren und Rückfragen stellen.

Deshalb wird ein Prompt-Set nicht einmal festgelegt und danach für Jahre unverändert verwendet. Laufende Messung braucht eine stetige Überprüfung dessen, was überhaupt gemessen werden sollte. Die explorativen Fragen sind dafür der Ort.

Unsere Position

Wir glauben nicht, dass heute jemand die exakte Verteilung realer Entscheidungsfragen an KI-Systeme kennt. Dafür ist der Markt zu jung und die Datenlage zu dünn.

Deshalb behandeln wir die Auswahl nicht als gelöstes Problem, sondern als Messdesign: hergeleitet, offengelegt, gemeinsam festgelegt und iterativ überprüft.

„Eine präzise Messung der falschen Fragen bleibt eine falsche Messung.“