Negative Bewertungen dienen den Nutzer:innen des KI-Chatbots als Kommunikationstool für Kritik. Die korrekte Einordnung der negativen Bewertungen hängt hierbei von mehreren Faktoren ab.
Nutzerbewertungen bringen zum Ausdruck, ob die ausgespielte Antwort des Chatbots das Anliegen der Nutzerin bzw. des Nutzers - aus der Perspektive der Nutzer:innen - zufriedenstellend beantwortet. Wie mit Hilfe dieser Insights Antwort-Inhalte optimiert werden können, ist in diesem Artikel dokumentiert.
Nutzerbewertungen stellen keine Bewertung der KI-Erkennung oder eine konkrete Bewertung des Chatbots insgesamt dar.
Insbesondere negative Bewertungen sind aber als Indikatoren für Optimierungsbedarf nutzbar.
Um allgemeines Feedback zu erheben, eignen sich Feedbackformulare. Genaueres hierzu ist im entsprechenden Artikel in unserer Knowledgebase dokumentiert.
Ursachen
Die Ursachen für negative Bewertungen sind unterteilbar in mehrere Fallgruppen. Zwei dieser Fallgruppen dienen der konstruktiven Ursachenforschung:
- Die Antwort passt nicht, da z.B. ausgespielte Informationen veraltet sind
- Ein falsches Thema wurde auf die Nutzeranfrage hin ausgespielt
- Es wurde eine passende Antwort ausgespielt
Die dritte Fallgruppe ist der konstruktiven Ursachenforschung nicht dienlich. Hier finden sich negative Bewertungen, obwohl das korrekte Thema ausgespielt und eine passende Antwort gegeben wurde.
Unsere Erfahrung zeigt, dass die dritte Fallgruppe insbesondere dann Auftritt, wenn die passende Antwort negativ konnotiert ist, z.B. die Störung einer Internetleitung gemeldet wird, die Antwort aber keine direkten Lösungsansätze liefert oder die Info ausspielt, dass die Störung nicht unmittelbar behoben werden kann.
Analyse
Es gibt zwei Wege, für die Überprüfung der negativen Bewertungen. Einmal sind die negative Bewertungen, die an einzelnen Tagen eingehen, überprüfbar. Das erfolgt über die Unterhaltungen:
Außerdem ist die Überprüfung negativer Bewertungen möglich, die über einen bestimmten Zeitraum hinweg eingehen. Das erfolgt über den Fokusbericht Nutzeranfragen im Bereich Statistiken:
Dort lassen sich die Filter Zeitraum und Feedback setzen. Um den Filter auf negative Bewertungen zu setzen, muss zweimal auf den Daumen-Button geklickt werden.
Die Anwahl des Themenbuttons lässt alle negativen Feedbacks einsehen, die im gewünschten Zeitraum auf das gewählte Thema anfallen:
Nachdem die negativ bewerteten Konversationen passend gefiltert wurden, beginnt die Analyse.
Hierbei gilt es eine der beiden zuvor genannten Fallgruppen zu identifizieren. Hierfür ist folgender Dreischritt ratsam:
- Analyse des Titels und des Szenarios → Was wird abgedeckt und was nicht?
- Analyse der Anfrage → Was möchte der:die Nutzer:in erfahren?
- Zuordnung → Passt die Anfrage zum Thema oder nicht?
Auf Grundlage der dritten Frage wird die passende Fallgruppe identifiziert. Folglich lässt sich die konkrete Konsequenz ermitteln.
Konsequenz
Die Konsequenzen für die Fallgruppen unterscheiden sich grundlegend.
Anfrage passt zum Thema
Oftmals fehlen Informationen, die Antworten sind zu vage formuliert oder unpassend.
Die Antwortinhalte sollten also überarbeitet werden. Hierzu finden sich unsere Best-Practices in der Knowledgebase.
Falsches Thema wurde ausgespielt
Kommt die Analyse zu dem Ergebnis, dass das Thema falsch ist, gilt es, die KI-Vorschläge zu überprüfen und zeitnah freizuschalten. Falls es keine passenden KI-Vorschläge gibt, sollte selbstständig ein Thema angelegt werden (siehe hierzu).Falls es bereits ein passendes Thema gibt, welches an der Stelle hätte ausgespielt werden sollen, sollte das KI-Feedback Tool genutzt werden.
Negative Bewertungen, Positive Bewertungen und weitere Kennzahlen
Viele Kennzahlen geben im moinAI Hub Auskunft über die Performance des KI-Chatbots. Die Kennzahlen beschränken sich hierbei auf einzelne Teilbereiche, sodass sie nur in einer Gesamtschau sinnvoll interpretierbar sind.
Einzelne Kennzahlen, die außerhalb des Gesamtkontext gelesen werden, geben keine Auskunft über die Performance. Sie geben Hinweise, worauf geachtet werden sollte.
In logischer Konsequenz bedeutet das, dass insbesondere negative Bewertungen keinen Rückschluss auf die allgemeine Funktionalität des Chatbots zulassen. Es besteht keine solche Kausalität!
Vielmehr sollten die negativen Bewertungen genutzt werden, um zu überprüfen, ob die angelegten Antwortinhalte gut sind und ob es Bedarf für weitere Themen gibt.
Insbesondere ist es wichtig, die negativen Bewertungen mit der Automatisierungsgrate zu kontextualisieren. Ist die Automatisierungsrate gut, die negativen Bewertungen hoch, ist das ein starkes Indiz für verbesserungswürdige Antwort-Inhalte - nicht für eine schlechte Performanz des Chatbots.
Analog hierzu verhält es sich mit den positiven Bewertungen. Als Maßstab genutzt, kann hieran ermittelt werden, ob Nutzer:innen häufiger negativ oder positiv bewerten. Liegt der Schwerpunkt auf den negativen Bewertungen, ist die Konsequenz vergleichbar zu oben. Liegt der Schwerpunkt auf den positiven Bewertungen ist insbesondere die Fallgruppe 3 - negativ Bewertung ohne Sachzusammenhang - zu berücksichtigen.
Die Automatisierungsrate kann nie 100% betragen. Eine Automatisierung über 60% gilt als sehr gut - zur weiteren Steigerung hilft dann insbesondere ein passend zur Unterseite ausgespielter Teaser. Auch ist die Zeit seit Live-Gang zu berücksichtigen. In den ersten drei Monaten sind 25%-35% gut. Nach sechs Monaten sollten 50% das Ziel sein.