Ein KI-Chatbot aus einer generischen Fertiglösung liefert schnell Antworten, aber wenig Einblick in deren Qualität. Wer den eigenen Chatbot dagegen selbst entwickelt und seine Antworten systematisch evaluiert, gewinnt etwas anderes: ein Werkzeug, das den zugrunde liegenden Website-Content laufend verbessert. Genau dieser Content ist die Quelle, auf die auch ChatGPT, Perplexity und Gemini zugreifen, wenn sie Informationen zum Unternehmen aufbereiten
Warum Unternehmen ihre Chatbots selbst entwickeln
Bei der Entscheidung zwischen Eigenentwicklung und Standardlösung zählen meist Kosten und Geschwindigkeit. Für die Eigenentwicklung sprechen bei Enterprise AI im Allgemeinen Unabhängigkeit von Anbietern und Anpassbarkeit. Bei Chatbots kommt ein oft übersehener Punkt hinzu: die Kontrolle über Qualität und Inhalt der Antworten.
Wie sich dieser Vorteil in der Praxis auswirkt, haben wir in einem unserer Projekte erlebt. Ziel war ein Service-Chatbot, der Kund:innen direkt Antworten liefert und andere Support-Kanäle entlastet – mit den Website-Inhalten als Wissensbasis. Die Entscheidung fiel bewusst gegen eine Standardlösung. Drei Gründe gaben den Ausschlag: KI-Know-how in der eigenen Organisation aufbauen, keine Abhängigkeit von externen Systemen und volle Kontrolle über die Antworten.
Evaluation als eigentlicher Motor der Entwicklung
Umgesetzt wurde der Chatbot mit einem agentischen Ansatz, bei dem mehrere Sprachmodelle mit verschiedenen Aufgaben die Anfragen der Nutzer:innen verarbeiten und auf Basis der Webseiten-Inhalte beantworten sollen. Nach dem Aufbau der technischen Grundlage begann die eigentliche Arbeit: die Evaluationsphase, die den größten Teil der Entwicklungszeit einnahm.
Evaluation heißt hier: Antworten systematisch prüfen, bewerten und daraus Verbesserungen ableiten. Dafür liefen drei Testverfahren parallel, jedes mit eigenem Fokus und eigener Metrik. Interne Expert:innen prüften die inhaltliche Korrektheit einzelner Antworten. Externe Nutzer:innen bewerteten, ob die Antworten auch ohne Fachwissen verständlich und hilfreich sind. Automatisierte Tests liefen durchgehend mit und prüften, ob Anfragen dem richtigen Themengebiet zugeordnet und die Antworten technisch korrekt erzeugt wurden.
Aus den Ergebnissen aller drei Verfahren entstanden konkrete Optimierungsschritte, die Einfluss auf den technischen Aufbau oder die Wissensbasis hatten. Schnell zeigte sich, dass sich ein Großteil der problematischen Antworten nicht durch technische Anpassungen verbessern ließ. Die Problemstellung lag hauptsächlich in den Inhalten: widersprüchliche Aussagen zwischen einzelnen Seiten, veraltete Informationen, die niemand mehr aktualisiert hatte, und Inhalte ohne Kontext. Solche Stellen führten dazu, dass Aussagen in den Antworten falsch wiedergegeben wurden oder ganz fehlten.
Diese Präzision in der Fehlersuche unterscheidet Evaluation von einer klassischen Content-Prüfung. Wer die Website betreut, kennt in der Regel die eigenen Inhalte, aber nicht automatisch jede fehlerhafte Stelle. Evaluation macht jede einzelne sichtbar. Der wirksamste Hebel für bessere Antworten lag deshalb meist in der Wissensbasis: den Website-Inhalten, auf die der Chatbot zugreift. Und eine bessere Wissensbasis wirkt nicht nur im Chatbot: Dieselben Inhalte werten auch KI-Suchsysteme aus (vgl. Abb. 1).
Welche Effekte das konkret für GEO bringt
Jede Lücke, jeder unklare Begriff und jede veraltete Information, die eine Evaluation aufdeckt, stört auch andere KI-Systeme, die auf denselben Content zugreifen. Umgekehrt gilt: Jede Anpassung, die den eigenen Chatbot verbessert, macht das Unternehmen zu einer verlässlicheren Quelle für generative Suchsysteme.
Genau hier setzt Generative Engine Optimization (GEO) an: Sie bereitet Inhalte für KI-gestützte Such- und Antwortsysteme auf, nicht für klassische Rankings. SEO zielt auf Klicks und Positionen, GEO auf die Aufnahme in eine generierte Antwort – oft ganz ohne Website-Besuch.
Drei Effekte lassen sich dabei besonders deutlich beobachten:
Wenn sich die Suche in den Antwortbereich der KI-Systeme verlagert, erhalten Nutzer:innen dort eine Antwort statt einer Linkliste. Ob sie danach noch eine Website besuchen, hängt davon ab, ob diese in der Antwort als Quelle genannt wird. Entscheidend ist, dass Inhalte eindeutig, aktuell und widerspruchsfrei sind.
Vor diesem Hintergrund sind FAQs, Glossare und Schritt-für-Schritt-Erklärungen mehr als gute Redaktionspraxis. Entstehen sie aus einer sauberen Chatbot-Evaluation, helfen sie Unternehmen, sich in den Antworten der KI-Suche zu behaupten.
Fazit: Evaluation früh einplanen
Ein selbst entwickelter Chatbot bringt mehr als Unabhängigkeit vom Funktionsumfang einer Fertiglösung. Er erlaubt es, systematisch zu testen, aus den Ergebnissen zu lernen und den eigenen Content laufend zu verbessern – mit Wirkung über den Chatbot hinaus. Als reiner Qualitätscheck kurz vor dem Launch wird Evaluation unterschätzt. Wer heute über einen eigenen Chatbot nachdenkt, sollte Evaluation deshalb von Anfang an einplanen.
Möchten Sie wissen, wie ein evaluationsgetriebener Chatbot auch die Sichtbarkeit Ihres Unternehmens in der KI-Suche verbessert?