Robots.txt Generator

Generate robots.txt file for your website

Kostenlose Registrierung

Growth & Brand Lab SEO Tools 🟢 Легко

Vorschaumodus. Schließe den Schritt oben ab, um zu speichern, zu exportieren oder Ergebnisse zu generieren.

Website URL

Preset Template

Block AI Crawlers (GPTBot, CCBot, etc.)

Block Ad Crawlers (AdsBot)

Block SEO Tool Bots (SemrushBot, AhrefsBot)

Crawl-delay (seconds, 0 = none)

Include Sitemap reference

Sitemap URL

Placement: Upload to your root domain: https://yourdomain.com/robots.txt

Case Sensitive: Paths are case-sensitive. /Admin/ ≠ /admin/

Not Security: robots.txt is advisory only. Don't rely on it to hide sensitive content — use authentication instead.

Wildcards: Use * for pattern matching. Example: Disallow: /*.pdf$ blocks all PDFs.

Testing: Use Google Search Console to test your robots.txt.

Unser Team hilft Ihnen mit individueller Beratung.

Kontakt

Notwendig

Für die Funktion der Website unerlässlich. Kann nicht deaktiviert werden.

Immer aktiv

Analyse

Helfen uns zu verstehen, wie Besucher mit der Website interagieren (Google Analytics, Yandex Metrika).

Marketing

Werden verwendet, um relevante Aktionen und Angebote basierend auf Ihrer Aktivität anzuzeigen.

Präferenzen

Speichern Ihre Einstellungen wie Sprache und Theme.