KI-Bots verdrängen klassische Suchmaschinen GPTBot überholt Googlebot – Datenflüsse im Web verschieben sich

Anbieter zum Thema

Fsas Technologies GmbH

Eine Analyse von Hostinger zeigt: KI-Crawler wie GPTBot von OpenAI scannen inzwischen mehr Webseiten als der Googlebot. Neue Player wie TikTok und Anthropic mischen ebenfalls mit. Das Crawling des Webs wird damit zunehmend von US- und chinesischen Anbietern geprägt – mit Folgen für Datenverfügbarkeit, Sichtbarkeit und Wertschöpfung.

Seit den frühen Tagen des Internets galt Googles Bot als das Maß der Dinge beim Durchsuchen des Webs. Suchmaschinen-Bots indexieren Inhalte, damit sie in Ergebnislisten erscheinen – ein Modell, das den Traffic und die Sichtbarkeit von Webseiten maßgeblich bestimmte.

Mit dem Aufkommen generativer KI verschiebt sich dieser Mechanismus: KI-Crawler wie GPTBot sammeln Daten nicht, um Nutzer auf Ursprungsseiten zu leiten, sondern um Inhalte als Trainingsdaten für Sprachmodelle oder für direkte Antworten in KI-Suchen zu nutzen. Damit wird der ursprüngliche Klickpfad zunehmend ausgehebelt.

GPTBot liegt vor Googlebot

Laut einer Auswertung von Hostinger, die auf Logdaten von fünf Millionen Kunden-Webseiten basiert, verarbeitet der GPTBot von OpenAI täglich mehr als 108 Millionen Anfragen und erreicht eine Abdeckung von 84 Prozent. Damit crawlt er inzwischen mehr Seiten als der Googlebot, der auf 798 Millionen Requests und eine Abdeckung von 74 Prozent kommt. Symbolisch ist das einer Zäsur gleichzusetzen: Die Rolle des Gatekeepers verschiebt sich von klassischen Suchmaschinen zu KI-Anbietern, die Inhalte für ihre Modelle aggregieren.

Neue Player und fragmentierte Kontrolle

Neben OpenAI treten auch weitere Konzerne auf den Plan. TikTok, Anthropic, Apple oder SEO-Dienste wie Ahrefs und SEMRush schicken eigene Crawler ins Netz. Zusammen erzeugen diese Bots fast 1,4 Milliarden Requests täglich.

Betreiber müssen Inhalte demnach nicht mehr nur für eine zentrale Suchmaschine sichtbar machen, sondern für eine Vielzahl von Agenten, deren Ziele und Verwendungszwecke sich unterscheiden. Das Web wird stärker fragmentiert, die Kontrolle über Sichtbarkeit verschiebt sich zu einer Handvoll Technologiekonzerne.

Traffic & Wertschöpfung

Das Crawling durch GPTBot & Co. ist nicht nur eine technische Verschiebung, sondern auch ein ökonomischer Einschnitt. Denn während Suchmaschinen-Bots Inhalte indexieren, um Nutzer später über Links auf die Ursprungsseiten zu führen, arbeiten KI-Crawler anders: Sie sammeln Inhalte, um daraus direkt Antworten zu generieren.

Für Website-Betreiber bedeutet das: weniger Klicks auf die eigene Seite, weniger Sichtbarkeit der eigenen Seite und damit weniger Wertschöpfung. Monetarisierungsmodelle wie Werbung, Lead-Generierung oder Paid Content geraten so unter Druck, wenn die Inhalte bereits von KI-Systemen verarbeitet und präsentiert werden, ohne dass Nutzer die Originalquelle besuchen.

Damit verlagert sich die Machtbalance im Netz: Nicht mehr die Betreiber steuern, wie Inhalte verwertet werden, sondern die Plattformen, die sie aggregieren. Wer die Daten kontrolliert, kontrolliert zunehmend auch die Aufmerksamkeit – und damit die ökonomischen Ströme.

Dominanz von USA und China

Die Untersuchung zeigt zudem eine deutliche geopolitische Schieflage: Rund 80 Prozent der erfassten Bots stammen von US-Anbietern wie OpenAI, Google, Meta, Amazon oder Microsoft. Etwa zehn Prozent entfallen auf chinesische Dienste wie Baidu oder Huawei PetalSearch.

Europa spielt mit Anbietern wie Majestic oder Dataprovider nur eine marginale Rolle. Damit liegt die Infrastruktur der Indexierung – und damit der Zugriff auf die Wissensbasis des Webs – fast vollständig in den Händen zweier Machtblöcke.

(ID:50575470)