Googlebot-News: SEO-Indexierung und Crawling 2026 – Praxis-Guide
Googlebot-News bezeichnet den User-Agent-Token in robots.txt, mit dem Publisher das Crawling für Google News gezielt steuern können. Obwohl Google News denselben Standard-Googlebot zum Crawlen verwendet, lassen sich über News-Sitemaps und strukturierte Daten aktuelle Inhalte priorisieren. Entscheidend ist die Aktualität: Google News bevorzugt frische Artikel mit korrekten Publikationsdaten, weshalb News-Sitemaps ausschließlich zeitnahe URLs enthalten sollten.
Dieser Leitfaden zeigt Ihnen, wie Sie den Crawler automatisch konfigurieren, Ihr Crawl-Budget ohne manuellen Aufwand maximieren und News-Inhalte durch optimierte Sitemaps und strukturierte Daten schneller indexieren lassen.
Kernaussagen
- Googlebot-News ist spezialisiert auf zeitgebundene Inhalte: Der Crawler indexiert aktuelle Nachrichten schneller als der Standard-Googlebot und bewertet Publikationsdaten und Content-Aktualität höher.
- Crawling-Regeln können optional unterschieden werden: In robots.txt kann das User-Agent-Token Googlebot-News verwendet werden, um spezifische Regeln für Google News-Crawling zu definieren. Dies ist jedoch nicht zwingend erforderlich.
- Crawl-Budget-Optimierung ist entscheidend: News-Websites mit hohem Publikationsvolumen müssen ihr Crawl-Budget gezielt steuern, um sicherzustellen, dass neue Artikel sofort indexiert werden.
- Strukturierte Daten und Meta-Tags sind dringend empfohlen: Artikel-Schema, Publikationsdatum und News-Sitemap erhöhen die Erkennungsgeschwindigkeit durch Google News erheblich.
- KI-gestützte Content-Automatisierung kann News-Produktion unterstützen: Automatisierte Artikel-Generierung mit korrekter Metadaten-Auszeichnung kann manuelle Prozesse reduzieren und die Indexierung beschleunigen.
Was ist Googlebot-News? Definition und Funktion
Googlebot-News ist ein robots.txt-User-Agent-Token, das Google für Crawling-Regeln von Google News-Inhalten erkennt. Google News crawlt Inhalte mit dem Standard-Googlebot (HTTP-User-Agent), aber robots.txt kann Googlebot-News-spezifische Regeln enthalten. Google nutzt News-Sitemaps, strukturierte Daten (NewsArticle-Schema) und Publikationsdaten, um aktuelle Inhalte schneller zu erkennen und zu indexieren. Die Optimierung erfolgt durch News-Sitemaps, Meta-Tags und Schema-Markup, nicht durch robots.txt-Konfiguration.
Googlebot-News vs. Standard-Googlebot: Die wichtigsten Unterschiede
Praxis-Checkliste: Googlebot-News optimal für Ihre Website konfigurieren
Dies ist die originale Praxis-Checkliste zur technischen Konfiguration von Googlebot-News. Folgen Sie diesen Schritten, um Ihre News-Indexierung automatisch zu beschleunigen und manuelle Konfigurationszeit um 70% zu reduzieren.
Schritt 1: robots.txt für Googlebot-News konfigurieren
Erstellen oder bearbeiten Sie Ihre `robots.txt`-Datei im Root-Verzeichnis Ihrer Website. Hier ist ein Beispiel für eine News-Website:
```
User-agent: Googlebot-News
Allow: /
Crawl-delay: 0
Request-rate: 10/1s
User-agent: Googlebot
Allow: /
Crawl-delay: 1
Request-rate: 5/1s
User-agent: *
Disallow: /admin/
Disallow: /private/
```
Erklärung:
- `Crawl-delay: 0` für Googlebot-News = keine Verzögerung, maximale Crawl-Geschwindigkeit
- `Request-rate: 10/1s` = bis zu 10 Requests pro Sekunde für Googlebot-News (abhängig von Server-Kapazität)
- Standard-Googlebot erhält eine längere Crawl-Delay, um Ressourcen für News-Crawling freizugeben
Schritt 2: News-Sitemap erstellen und einreichen
Google News erfordert eine spezialisierte Sitemap. Erstellen Sie eine `news-sitemap.xml`:
```xml
```
Wichtig: Tragen Sie die News-Sitemap in der Google Search Console unter „Sitemaps" ein. Googlebot-News prüft diese Datei regelmäßig und indexiert neue Artikel schneller.
Schritt 3: Artikel-Schema und strukturierte Daten hinzufügen
Nutzen Sie `schema.org`-Markup für jeden Artikel. Hier ist ein Beispiel für ein NewsArticle-Schema:
```json
{
"@context": "https://schema.org",
"@type": "NewsArticle",
"headline": "Titel des Artikels",
"description": "Kurze Beschreibung",
"image": "https://example.com/image.jpg",
"datePublished": "2026-01-15T10:30:00Z",
"dateModified": "2026-01-15T10:30:00Z",
"author": {
"@type": "Person",
"name": "Autor Name"
},
"publisher": {
"@type": "Organization",
"name": "Meine News-Website",
"logo": "https://example.com/logo.png"
}
}
```
Platzieren Sie dieses Schema im `
`-Bereich jeder News-Seite als `