Crawling und Indexierung: Was ist der Unterschied?
Bevor wir uns anschauen, wie du deine Website bei Google einreichst, lohnt sich ein kurzer Blick auf den Prozess dahinter – denn Crawling und Indexierung sind zwei verschiedene Dinge, die oft durcheinandergebracht werden.
Crawling ist der erste Schritt: Google schickt automatisierte Bots (sogenannte Crawler oder Spider) auf deine Website. Diese Bots besuchen deine Seiten, lesen den Inhalt, folgen internen Links und senden alle gesammelten Daten zurück an Google. Crawling bedeutet also: Google hat deine Seite besucht.
Indexierung ist der zweite Schritt: Nachdem Google deine Seite gecrawlt hat, entscheidet der Algorithmus, ob die Seite in den Google-Index aufgenommen wird. Erst wenn eine Seite indexiert ist, kann sie in den Suchergebnissen erscheinen. Indexierung bedeutet also: Google hat deine Seite als relevant eingestuft und aufgenommen.
Eine gecrawlte Seite ist nicht automatisch indexiert. Google kann eine Seite besuchen und trotzdem entscheiden, sie nicht aufzunehmen – zum Beispiel weil der Inhalt zu dünn ist, eine andere Seite als relevanter gilt, oder weil technische Signale dagegen sprechen.
So beantragst Du die Google-Indexierung: Ein Schritt-für-Schritt Leitfade
Wie bekommt man eigentlich eine Website in den Google Index? Ich fange anders an: Was bedeutet eigentlich der Google Index? Wenn du heute etwas in Google eingibst, wird dir dort die große Datenbank des Google Index offenbar. Wie bei einer Bibliothek hat auch Google einen Index, in dem alle Websites verzeichnet sind. In vielen Gesprächen habe ich das Gefühl, dass für meine Gesprächspartner dieser Google Index und “Das Internet” absolut synonym sind. Doch dem ist nicht so. Wie viele Websites weltweit nicht im Google Index erfasst sind, vermag ich nicht zu sagen. ICh bin auch davon überzeugt, dass jede Ziffer hierzu nur eine Schätzung ist und die tatsächliche Zahl der Website nochmal um einiges höher ausfällt. Aber ich schweife ab.
Wie bekommt man nun aber seine Website in diesen Index bei Google? Genau darum soll’s gehen: Wie Du die Google-Indexierung für Deine Website beantragen kannst.
Die Vorbereitung: Dein SEO Fundament
Wenn es darum geht, dass die eigene Website von Google indexiert wird, ist es wichtig, dass man sein Haus in Ordnung hat. Mit anderen Worten: bevor man sich darum kümmert, dass Google die eigene Seite findet, sollte man sicherstellen, dass die eigene Website in einem guten Zustand ist. Ein wichtiger Punkt dabei ist eine klare Struktur. Die Navigation sollte intuitiv sein und es den Besuchern einfach machen, sich auf der Seite zurechtzufinden. Auch die Inhalte sollten gut strukturiert sein und in thematisch sinnvollen Kategorien organisiert sein. Ein weiterer wichtiger Punkt ist die Verwendung von relevanten Keywords. Das bedeutet, dass man sich Gedanken darüber machen sollte, welche Suchbegriffe die Zielgruppe verwendet und diese dann in den Inhalten der Seite verwenden sollte. Dabei sollte man allerdings darauf achten, dass man die Keywords nicht unnatürlich oft verwendet, sondern sie in sinnvollen Kontexten einsetzt.
So trivial dies klingen mag, es ist nicht einfach und oft habe ich es schon erlebt, dass Websites, die optisch schön waren, nicht indexiert wurden, weil schlicht nicht klar war, worum es dort tatsächlich geht. Sobald wir dies dann verändert und einen klaren Fokus gelegt hatten, wurden die Seiten sauber in den Index aufgenommen.
200+
5,0
zufriedene Kunden
Robots.txt: Der Türsteher Deines Webauftritts
Stell Dir vor, Deine Website ist eine exklusive Party und Du willst, dass nur die richtigen Leute (also Suchmaschinen) reinkommen. Das Tool dafür ist die robots.txt. Sie sagt Google, welche Seiten gescannt werden dürfen und welche nicht. Vergewissere Dich, dass die robots.txt Google nicht versehentlich blockiert, sonst steht der Suchmaschine deine virtuelle Tür nicht offen.
Das mag nun beim lesen “komisch” klingen, ist aber tatsächlich einer der beliebtesten Fehler, die wir regelmäßig sehen. Wir bekommen tatsächlich Kundenanrufe “wir finden uns nicht, wenn wir uns googlen” und nach einer kurzen Prüfung stellen wir fest: die Seite steht auf NoIndex, darf also nicht indexiert werden.
Ich empfehle daher jede Seite, die in den Index aufgenommen werden soll auf Index, Follow zu stellen.
Warum wird meine Seite nicht indexiert? Die häufigsten Ursachen
Ich höre es regelmäßig von Kunden: „Ich habe die Seite fertig, aber Google findet sie nicht.” Das ist frustrierend – und meistens hat es einen der folgenden Gründe:
robots.txt blockiert den Crawler
Die robots.txt ist eine Textdatei auf deiner Website, die Google mitteilt, welche Bereiche gecrawlt werden dürfen – und welche nicht. Ein häufiger Fehler: Beim Website-Launch ist noch der Entwicklungsmodus aktiv, der alle Crawler blockiert. Die Seite ist online, aber Google kommt nicht rein. Prüfung: Google Search Console → Crawling-Fehler, oder robots.txt direkt aufrufen unter deiner-domain.de/robots.txt
noindex-Tag gesetzt
Ein noindex-Tag im HTML-Header deiner Seite weist Google explizit an, diese Seite nicht zu indexieren. Das ist sinnvoll für interne Seiten wie Datenschutz oder Warenkorb – aber fatales Problem, wenn es versehentlich auf wichtigen Inhaltsseiten sitzt. Prüfung: Google Search Console → URL-Inspektion → „Seite ist nicht indexiert: noindex-Tag erkannt”
Canonical-Tag zeigt auf eine andere URL
Canonical-Tags sagen Google: „Diese Seite ist eine Kopie, die Original-Version findest du hier.” Wenn ein Canonical-Tag falsch gesetzt ist – zum Beispiel auf eine nicht existierende URL oder auf eine andere Seite zeigt – kann Google die eigentliche Seite ignorieren. Prüfung: Im Seitenquelltext nach <link rel=”canonical” href=”…”> suchen und prüfen ob die URL korrekt ist.
Seite hat keinen eingehenden Link
Wenn keine andere Seite auf deine neue Seite verlinkt – weder intern noch extern – findet Google sie möglicherweise gar nicht. Crawler folgen Links. Eine Seite, die im Nirgendwo steht, wird vielleicht nie gecrawlt. Lösung: Sofort nach dem Veröffentlichen mindestens einen internen Link von einer bereits indexierten Seite setzen.
Wichtig: Alle diese Fehler sind in der Google Search Console sichtbar. Unter „Seiten” → „Nicht indexiert” zeigt Google direkt an, warum eine Seite nicht aufgenommen wurde – und was du tun kannst.
1. Schritt: Google Search Console anmelden
Willst du nun deine Website in den Google Index aufnehmen, brauchst du die Google Search Console. Dein erster Schritt zur Sichtbarkeit im Internet ist die Anmeldung bei der Google Search Console. Falls Du das noch nicht gemacht hast, melde Dich mit Deinem Google-Konto an und füge Deine Website hinzu. Das ist total einfach und kostenlos – außer ein paar Minuten deiner Zeit.
Du musst dabei zunächst eine Property erstellen. Das bedeutet, dass du Google mitteilen musst, dass du Admin der Domain bist und diese tatsächlich verwalten darfst. Dabei gibt es zwei Möglichkeiten:
- Domain Property: Hierbei wird sofort ein Zugriff auf die gesamte Domain inkl. aller Subdomains und Zugriffe verwaltet.
- Präfix Property: Die beliebteste dabei ist die https://www. Diese Art der Propery verwendet man, wenn man nur eine spezielle Subdomain (z.B. www) betrachten möchte.
Wie geht man nun vor, wenn man den Zugriff auf eine Domain beantragen möchte? Im 1. Fall muss man in den DNS der Domain einen TXT Eintrag eintragen. Dies klingt tatsächlich deutlich komplexer als es tatsächlich ist. In der Sache gibt Google einen kurzen Code vor, diesen kopierst du, gehst zu deinen Domain-Einstellungen bei deinem Hoster, klickst da auf die Einstellungen und DNS Einträge (das heißt bei jedem Hoster anders) und klickst dann auf DNS Eintrag hinzufügen. Die Art des Eintrags ist ein TXT Eintrag und der Wert ist dann das von Google ausgegebene Fragment.
Bei der Präfix Property ist es ebenso einfach, nur gibt es hier verschiedene Wege. Man kann in den Head der Website einen kleinen Code einfügen, oder eine HTML Datei auf den Server hochladen oder auch per Google Analytics oder Google Tag Manager die Inhaberschaft beantragen. Letztlich egal wie: alle Wege führen dazu, dass die Domain erkannt und die die Inhaberschaft akzeptiert wurde. Sobald dies passiert ist, kannst du in der Search Console weiter machen.
2. Schritt: Sitemap einreichen
Jetzt wird’s spannend: In der Search Console kannst Du Deine sitemap.xml einreichen. Damit sagst Du Google: „Hier, schau mal! Das sind meine Seiten, bitte durchsuche sie.“ Es ist, als würdest Du Google eine Schatzkarte in die Hand drücken. Was ist die Sitemap.xml? Schatzkarte trifft es schon ganz gut. Es ist sozusagen die Auflistung aller URLs deiner Seite und idealerweise sind alle die Seite, die du auch im Index haben willst, auf dieser Sitemap aufgeführt.
Diese Sitemap stellst du Google zur Verfügung, indem du Links im Menü auf Sitemap klickst, dann dort die URL deiner Sitemap in das Formular einträgst und auf “einreichen” klickst. Du bekommst dann die Meldung, wie viele Unterseiten erkannt wurden und ob die Einreichung erfolgreich war. Aber Achtung! Eine solche Einreichung bedeutet nicht, dass die Seite auch im Index erscheint.
Tatsächlich kann es oft etwas dauern, bis dann auch alle Seite der Sitemap wirklich im Index erscheinen.
3. Schritt: Einzelne URLs einreichen
Manchmal willst Du nicht warten, bis Google Deine Website via Search Console oder auch einfach natürlich erkannt hat. In der Search Console kannst Du einzelne URLs direkt einreichen. Gleichzeitig kannst Du auch prüfen, ob es Probleme mit der Darstellung gibt.
Und das ist tatsächlich leichter als man glauben mag. Du gibst dafür in der Search Console einfach oben direkt die URL ein, die du getestet haben willst. Dann bekommst du gleich alle Informationen zu dieser URL ausgeliefert inkl. der Aufforderung “Indexierung Beantragen”. So kannst du einzelne URLs recht zügig in den Index aufnehmen.
Der Warteteil: Geduld ist eine SEO-Tugend
Nach dem Einreichen ist es Zeit für Geduld. Denn auch wenn wir gerne würden, können wir Google nicht hetzen. Die Crawling-Frequenz hängt von so vielen Faktoren ab – die Popularität Deiner Website, die Anzahl der Veränderungen, die Du vornimmst, und so weiter. Es ist ein bisschen wie Wein, der besser wird, je länger er lagert.
Ich habe es im Laufe der Jahre erlebt, dass Änderungen innerhalb von Minuten im Index waren – andere waren nach Tagen und Wochen nicht zu erkennen. Aber eines weiß ich: wenn man regelmäßig an der Seite arbeitet, dann erhöht sich die Frequenz der Crawls.
Monitoring: Behalte das Ranking im Auge
Während Du wartest, ist es wichtig, die Augen offen zu halten und zu überwachen, wie Deine Seiten in den Suchergebnissen abschneiden. Hier kommt die Google Search Console wieder ins Spiel. Sie zeigt Dir, wo Du stehst, und was Du vielleicht noch optimieren kannst.
Beispielsweise gibt dir die Search Console aus, ob im Index URLs gespeichert sind, die weitergeleitet werden. Auch kannst du deine Einstufung der Core Web Vitals prüfen und einen allgemeinen Überblick deiner verweisenden Domains erhalten. Somit sit die Search Console über die Indexierung hinaus ein ausgesprochen wertvolles Tool für uns als SEO Agentur.
Der Feinschliff: Optimierung nach der Indexierung
Glückwunsch, Deine Seite ist nun im Index! Jetzt beginnt die Kunst der Feinabstimmung. Es ist, als hättest Du einen Grundanstrich auf Deine Leinwand gebracht – jetzt kommt die Detailarbeit. Dabei kannst du nun mit der Search Console prüfen, wie sich dein Content und die Seite entwickelt und dabei entsprechende Verbesserungen vornehmen – und diese auch gleich wieder in den Index schicken. So kannst du deine Website Stück für Stück optimieren.
Denk dran, SEO ist ein Marathon, kein Sprint. Veränderungen über Nacht sind selten und wenn sie passieren, sind sie nicht immer von Dauer. SEO verlangt Ausdauer und die Bereitschaft, immer wieder anzupassen und zu verfeinern.
Wie lange dauert die Indexierung nach dem Einreichen?
Nachdem du die Indexierung über die Search Console beantragt hast, hängt die Wartezeit von mehreren Faktoren ab:
- Neue Domain, erste Inhalte: mehrere Tage bis Wochen – Google baut erst Vertrauen auf
- Etablierte Domain mit regelmäßigen Updates: oft Stunden bis wenige Tage
- Große, viel verlinkte Seite: teilweise innerhalb von Minuten nach dem Einreichen
- Seite ohne eingehende Links: kann deutlich länger dauern oder gar nicht passieren
Crawl-Budget verstehen: Google weist jeder Website ein bestimmtes Crawl-Budget zu – also eine Anzahl von Seiten, die pro Zeitraum gecrawlt werden. Je größer und aktiver deine Website ist, desto mehr Budget bekommst du. Das bedeutet auch: Wer regelmäßig neue Inhalte veröffentlicht und bestehende Seiten aktualisiert, erhöht die Crawling-Frequenz dauerhaft.
Ein praktischer Hinweis aus 15 Jahren Agenturalltag: Die manuelle Einreichung in der Search Console ist kein Garant für sofortige Indexierung. Sie ist eine Anfrage an Google – keine Garantie. Was die Indexierung langfristig verbessert, ist eine technisch saubere Website, starke interne Verlinkung und regelmäßiger hochwertiger Content.
Also gilt: Der Weg ist das Ziel
Die Anfrage zur Google Indexierung ist nur ein Teil einer umfassenderen SEO-Strategie. Es geht darum, stetig an Deiner Website zu arbeiten, sie benutzerfreundlich zu halten, regelmäßig großartige Inhalte zu liefern und natürlich technisch auf dem neuesten Stand zu sein.
Und wenn dir das alles zu kompliziert erscheint, dann ruf uns einfach an.
