Logfile-Analyse im Onlineshop: SEO-Potenziale erkennen und Crawling-Budget optimieren

Die Logfile-Analyse ist die systematische Auswertung der Server-Logdateien eines Onlineshops, um das Verhalten von Suchmaschinen-Crawlern wie Googlebot sichtbar zu machen. Sie zeigt auf Request-Ebene, welche URLs geprüft werden, mit welchem Statuscode der Server antwortet und wo das Crawling-Budget verschwendet wird. Für technisches SEO im E-Commerce ist die Logfile-Analyse damit ein unverzichtbares Diagnoseinstrument.

• Die Google Search Console bildet nur einen Teil des Crawl-Verhaltens ab, da sie ausschließlich Googlebot-Daten enthält, während Logfiles alle Crawler vollständig protokollieren.
• Facettennavigation und URL-Parameter können in Onlineshops den Großteil des Crawling-Budgets verbrauchen, ohne zur Indexierung relevanter Seiten beizutragen.
• Ein anhaltender HTTP-5xx-Status auf zentralen Shop-Seiten kann dazu führen, dass Googlebot die Crawl-Frequenz für den gesamten Onlineshop reduziert.

Während Logfile-Analysen das tatsächliche Crawling-Verhalten abbilden, decken technische SEO-Audits für Onlineshops systematisch Schwachstellen in Indexierung, Ladezeit und Struktur auf.

Was ist eine Logfile-Analyse und warum ist sie für Onlineshops wichtig?

Die Logfile-Analyse wertet die Server-Logdateien aus und zeigt, wie Suchmaschinen-Bots Ihre Onlineshop-Seiten tatsächlich besuchen, wie oft und mit welchem Ergebnis.

Server-Logdateien sind automatisch erzeugte Protokolle aller Anfragen an Ihren Webserver. Jede Zeile enthält die IP-Adresse des Zugriffs, den Zeitstempel, die angeforderte URL, den User-Agent sowie den zurückgegebenen HTTP-Statuscode. Diese Daten werden vom Hosting-Anbieter meist standardmäßig erfasst und liegen im Apache- oder Nginx-Format vor.

Für Onlineshops sind Logfiles besonders wertvoll, weil Webshops oft eine sehr große URL-Struktur besitzen. Produktvarianten, Filteransichten, Sortierungen und Suchseiten erzeugen tausende URLs, die Google nicht alle gleich behandelt. Die Logfile-Analyse zeigt, auf welche URLs der Googlebot seine Aufmerksamkeit verteilt und welche Seiten ohne Grund gecrawlt werden.

Die Google Search Console liefert nur aggregierte Crawl-Statistiken und nicht jedes Ereignis. Logfiles sind dagegen lückenlos und protokollieren jeden einzelnen Request. Damit decken sie Fehler auf, die in der Search Console unsichtbar bleiben, etwa wenn Bots an ineffizienten URLs hängenbleiben oder wenn die interne Verlinkung zu Crawling-Engpässen führt.

Wie führen Sie eine Logfile-Analyse für Ihren Onlineshop durch?

Eine Logfile-Analyse läuft in vier Schritten ab: Zugriff auf die Logs sichern, Daten aufbereiten, Bots identifizieren und die Zugriffe nach URLs, Statuscodes und Häufigkeit auswerten.

Der erste Schritt ist der Zugriff auf die Logdateien. Bei den meisten Hosting-Paketen liegen diese im Verzeichnis des Webservers, bei Cloud-Setups werden sie oft in zentralen Log-Management-Systemen gesammelt. Fragen Sie Ihren Hosting-Anbieter nach Zugriffsrechten oder richten Sie eine automatische Übergabe an ein Analyse-Tool ein.

Im zweiten Schritt bereiten Sie die Daten auf. Dazu gehören das Zusammenführen mehrerer Logfiles, das Entfernen irrelevanter Anfragen und das Filtern der relevanten Bots. Neben Googlebot sollten Sie auch andere Crawler wie Bingbot, Yandex und KI-Crawler wie GPTBot berücksichtigen, da diese ebenfalls Serverressourcen beanspruchen.

Der dritte Schritt ist die eigentliche Auswertung. Gängige Werkzeuge sind der Screaming Frog Log File Analyser, Splunk oder selbst erstellte Skripte mit Python. Achten Sie auf Crawl-Häufigkeit pro URL, Verteilung der Statuscodes, Crawl-Zeitpunkte, Response-Zeiten und das Verhältnis von gecrawlten zu indexierten URLs.

Der vierte Schritt ist die Interpretation im Kontext Ihrer Shopstruktur. Vergleichen Sie die Crawl-Daten mit der Suchsichtbarkeit, der internen Verlinkung und den Umsatzzahlen der betroffenen Produkt- und Kategorieseiten. Nur so erkennen Sie, wo das Crawling-Budget ineffizient eingesetzt wird.

Welche Probleme deckt die Logfile-Analyse im Onlineshop typischerweise auf?

Typische Probleme in Onlineshops sind ein hoher Crawl-Anteil auf Parameter-URLs, dünne Inhalte auf Filter- und Sortierseiten, nicht indexierbare Seiten sowie unentdeckte Fehlerseiten und Redirect-Ketten.

Für E-Commerce ist die Facettennavigation die häufigste Ursache für verschwendetes Crawling-Budget. Jede Kombination aus Filter, Sortierung und Kategorie erzeugt eine eigene URL. In den Logfiles zeigt sich das daran, dass tausende ähnliche URLs mit Parameter-Fragmenten gecrawlt werden, obwohl sie keinen Such-Mehrwert bieten. Die Folge: Googlebot investiert Zeit in Duplicate Content. Sie sollten solche URLs per robots.txt oder noindex vom Crawling ausschließen.

Ein weiteres häufiges Problem sind fehlerhafte HTTP-Statuscodes. Wenn ausgelaufene Produkte dauerhaft 404 liefern oder Redirect-Ketten über mehrere Hops laufen, zeigt sich das in den Logfiles als auffällige Häufung. Google priorisiert bei der Crawl-Frequenz Seiten, die schnell und mit 200 antworten. Ein anhaltender Server-Fehler kann dazu führen, dass der Googlebot die Crawl-Rate für den gesamten Shop reduziert.

Darüber hinaus deckt die Logfile-Analyse ineffiziente Crawl-Muster auf, etwa wenn Bots wiederholt dünne Kategorieseiten abrufen, während neue Produktseiten unentdeckt bleiben. Eine systematische Prüfung der Crawl-Daten gehört deshalb zu jeder soliden technischen SEO-Audit für Onlineshops. Auch die Erkennung und Behebung von Indexierungsfehlern in der Search Console lässt sich mit Logfile-Erkenntnissen deutlich beschleunigen.

Logfile-Analyse vs. Google Search Console: Was liefert welche Datenquelle?

Die Google Search Console zeigt aggregierte Crawl-Daten aus Googles Perspektive, während die Logfile-Analyse das vollständige Verhalten aller Bots auf Serverebene abbildet.

Die Google Search Console ist der kostenlose Einstiegspunkt für technisches SEO und liefert wichtige Signale wie Indexierungsstatus, Sitemap-Fehler und Core Web Vitals. Allerdings stammen die Crawl-Daten ausschließlich von Google und werden nur in grober Form bereitgestellt. Sie sehen keine einzelnen Requests, keine vollständigen Zeitstempel und keine Aufteilung auf einzelne URL-Pfade.

Die Logfile-Analyse ergänzt diese Daten um die vollständige Sicht auf Ihren Server. Sie sehen jeden Request aller Crawler, die genaue Uhrzeit, die IP-Adresse und den konkreten HTTP-Statuscode. Damit beantworten Sie Fragen, die die Search Console offen lässt: Wurde eine neue Produktseite überhaupt von Googlebot besucht? Welche URLs verbrauchen das meiste Crawling-Budget? Antwortet der Server auf bestimmten Produktseiten zu langsam?

In der Praxis sind beide Datenquellen keine Alternativen, sondern eine Kombination. Die Search Console gibt einen guten Überblick über Indexierungsprobleme und Suchanfragen. Die Logfile-Analyse liefert die tiefere Diagnose auf Request-Ebene. Für Ihr SEO-Monitoring sollten Sie beide regelmäßig abgleichen und Maßnahmen aus der Logfile-Analyse mithilfe der Search Console auf ihre Wirkung prüfen.

Wie oft sollten Onlineshops die Logfile-Analyse durchführen?

Ein Onlineshop sollte die Logfile-Analyse mindestens monatlich, bei größeren strukturellen Änderungen wöchentlich und bei akuten Crawl-Einbrüchen sofort durchführen.

Die Logfile-Analyse ist keine einmalige Aktion, sondern ein kontinuierlicher Prozess. In Onlineshops verändern sich Sortiment, URL-Struktur und interne Verlinkung ständig. Neue Produkte kommen hinzu, alte laufen aus, Kampagnen erzeugen temporäre Landingpages. Monatliche Auswertungen helfen, das Crawling-Budget im Griff zu behalten und Probleme frühzeitig zu erkennen.

Bei größeren Änderungen sollten Sie den Rhythmus erhöhen. Wenn Sie den Shop umbauen, URLs migrieren oder den Server wechseln, lohnt sich eine wöchentliche Auswertung. Auch nach einem Relaunch ist die Logfile-Analyse das wichtigste Kontrollinstrument, um zu prüfen, ob Googlebot die neuen Strukturen annimmt und ob alte URLs korrekt weiterleiten. Zusätzlich helfen Maßnahmen wie die Verbesserung der Indexierung durch Roboter, die Auffindbarkeit neuer Seiten zu erhöhen.

Automatisieren Sie den Prozess, sobald der manuelle Aufwand zu groß wird. Moderne Log-Analyse-Tools lassen sich an ein Monitoring anbinden, das bei auffälligen Mustern alarmiert, etwa bei einem plötzlichen Abfall der Googlebot-Zugriffe oder einer Häufung von 5xx-Fehlern. So reagieren Sie, bevor das Problem Rankings und Umsatz beeinflusst, anstatt nur rückblickend zu analysieren. Crawza unterstützt Sie dabei mit transparenten Preisen und Paketen, die auf technisches SEO im E-Commerce zugeschnitten sind.

Sie mit einer klaren Übersicht über die Crawza Preise und Pakete, damit Sie den Automatisierungsgrad wählen können, der zu Ihrem Shop passt.