Unsichtbar für KI: Wie dein Hosting über deine Sichtbarkeit in ChatGPT & Co. entscheidet

Kurz gesagt: KI-Assistenten wie ChatGPT, Claude, Perplexity oder Googles KI-Übersichten können nur Inhalte nennen, die ihre Crawler vorher lesen konnten. Sperrt dein Hosting, deine Firewall oder deine robots.txt diese Crawler aus, taucht deine Website in den Antworten nicht auf – egal wie gut deine Inhalte sind. Ob das bei dir passiert, kannst du in wenigen Minuten prüfen.

Warum KI-Sichtbarkeit beim Server anfängt

Immer mehr Menschen stellen ihre Fragen nicht mehr nur Google, sondern direkt einem KI-Assistenten. Die Antworten stützen sich auf zwei Quellen: auf das Wissen, mit dem das Modell trainiert wurde, und auf Seiten, die der Assistent im Moment der Frage live abruft. Für beides schicken die Anbieter eigene Crawler los.

Kommen diese Crawler nicht durch, fehlt deine Seite – in den Trainingsdaten, in den Suchindizes der Assistenten und in den Live-Abrufen. Das ist kein Ranking-Problem, sondern ein Zugangsproblem. Und es entsteht oft unbemerkt: durch Voreinstellungen beim Hoster, im CDN oder in einem Sicherheits-Plugin.

Welche KI-Crawler es gibt

Die großen Anbieter unterscheiden inzwischen meist zwischen Crawlern für das Training, für den eigenen Suchindex und für Abrufe, die ein Nutzer direkt auslöst. Die wichtigsten:

• OpenAI (ChatGPT): GPTBot fürs Training, OAI-SearchBot für die ChatGPT-Suche, ChatGPT-User für Abrufe, die ein Nutzer im Chat auslöst.
• Anthropic (Claude): ClaudeBot fürs Training, Claude-SearchBot für die Suche, Claude-User für Abrufe durch Nutzer.
• Perplexity: PerplexityBot für den Suchindex, Perplexity-User für Abrufe durch Nutzer.
• Google (KI-Übersichten, Gemini): Für die Suche und die KI-Übersichten liest der normale Googlebot. „Google-Extended“ ist kein eigener Crawler, sondern ein Eintrag in der robots.txt, mit dem du die Nutzung für das Training von Gemini steuerst.
• Microsoft (Copilot): nutzt den Index des Bingbot.
• Common Crawl: CCBot sammelt einen frei verfügbaren Webdatensatz, den viele KI-Modelle zum Training verwenden.

Wichtig für die Praxis: Wer nur die Trainings-Crawler sperrt, bleibt in der Suche der Assistenten sichtbar. Wer pauschal alle „Bots“ blockiert, verschwindet dagegen auch aus den Live-Antworten. Googles KI-Übersichten nutzen den normalen Googlebot – wer bei Google indexiert ist, kann dort grundsätzlich auch genannt werden.

Wo KI-Crawler ausgesperrt werden

Es gibt drei typische Stellen, an denen KI-Crawler hängen bleiben – oft, ohne dass der Website-Betreiber davon weiß:

• robots.txt: Ein Disallow für GPTBot, ClaudeBot oder User-agent: * stammt manchmal aus Vorlagen, Plugins oder alten SEO-Einstellungen.
• Firewall und CDN: Viele Bot-Schutz-Funktionen blockieren unbekannte oder „automatisierte“ Zugriffe. Einige CDN-Anbieter sperren KI-Crawler für neue Domains inzwischen standardmäßig.
• Hosting-Voreinstellungen: Manche Hoster begrenzen oder sperren Crawler pauschal, um Serverlast zu sparen – besonders in günstigen Shared-Hosting-Paketen.

Dazu kommt ein Punkt, der nichts mit Sperren zu tun hat: Viele KI-Crawler führen kein JavaScript aus. Inhalte, die erst im Browser nachgeladen werden, sehen sie nicht. Texte, Preise und Produktinfos sollten deshalb im ausgelieferten HTML stehen.

So kann das passieren

• Ein Shop zieht hinter ein CDN, dessen Bot-Schutz standardmäßig aktiv ist. Für Besucher ändert sich nichts – Crawler wie GPTBot bekommen ab sofort eine Fehlermeldung oder eine Prüfseite statt des Inhalts.
• Auf dem Testsystem steht in der robots.txt User-agent: * mit Disallow: /, damit es nicht in Suchmaschinen landet. Beim Livegang wird die Datei versehentlich mit übernommen.
• Produktbeschreibungen werden erst per JavaScript nachgeladen. Google rendert sie, viele KI-Crawler sehen nur das leere Grundgerüst der Seite.

So prüfst du, ob KI-Crawler durchkommen

1. robots.txt ansehen: Rufe deinedomain.de/robots.txt auf und suche nach den Crawler-Namen aus der Liste oben oder nach einem pauschalen Disallow: /.
2. Abruf testen: Ein Aufruf mit dem User-Agent eines Crawlers zeigt, ob der Server antwortet, z. B. curl -I -A "GPTBot" https://deinedomain.de/. Kommt ein Fehlercode wie 403 statt 200, wird der Bot blockiert.
3. Server-Logs auswerten: Tauchen GPTBot, OAI-SearchBot, ClaudeBot oder PerplexityBot in den Zugriffen auf – und mit welchem Statuscode?
4. Firewall- und CDN-Regeln prüfen: Gibt es Bot-Schutz, Länder- oder Ratenlimits, die automatisierte Zugriffe abweisen?
5. HTML prüfen: Stehen die wichtigen Inhalte im Quelltext der Seite – oder erst nach dem Laden per JavaScript?

Erlauben oder sperren? Eine bewusste Entscheidung

Nicht jeder will seine Inhalte für das Training von KI-Modellen freigeben – das ist eine legitime Entscheidung. Sie sollte aber bewusst fallen und nicht durch eine Voreinstellung. Ein sinnvoller Mittelweg kann sein, Trainings-Crawler zu sperren und Such- und Nutzer-Crawler zuzulassen. So bleibst du in den Antworten sichtbar, ohne deine Texte für das Training freizugeben.

Wie wir das bei HexaMain handhaben

Unser Hosting ist so eingerichtet, dass GPTBot, ClaudeBot und andere KI-Crawler nicht ausgesperrt werden. Welche Bots erlaubt sind, stimmen wir mit dir ab – in der robots.txt, in der Firewall und im Shop selbst. Wenn du wissen willst, ob deine Seite für KI-Assistenten erreichbar ist, prüfen wir das im Rahmen unserer SEO-Betreuung.

Der Test an unserer eigenen Website

Wir haben hexamain.de im Oktober 2026 selbst geprüft und eine Leistungsseite mit den Kennungen von sieben KI-Crawlern abgerufen: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot und CCBot. Das Ergebnis:

• Alle sieben Abrufe lieferten den Status 200 – kein Crawler wurde abgewiesen.
• Der komplette Seitentext stand bereits im ausgelieferten HTML, ohne dass JavaScript nötig war.
• Unsere robots.txt sperrt nur technische Bereiche wie Kundenkonto und Kasse, aber keinen KI-Crawler.

Ein solcher Test zeigt, ob der Server Crawler anhand ihrer Kennung abweist. Manche Firewalls prüfen zusätzlich die IP-Adresse – das siehst du nur in den Server-Logs.

Mehr dazu, wie Onlineshops bei Google und in KI-Antworten sichtbar werden, liest du in unserem Leitfaden SEO für Onlineshops.