Robots.txt Generator

Generate robots.txt file for your website

मुफ़्त साइन अप

Growth & Brand Lab SEO Tools 🟢 Easy

प्रीव्यू मोड। परिणाम सहेजने, निर्यात करने या जनरेट करने के लिए ऊपर का चरण पूरा करें।

Website URL

Preset Template

Block AI Crawlers (GPTBot, CCBot, etc.)

Block Ad Crawlers (AdsBot)

Block SEO Tool Bots (SemrushBot, AhrefsBot)

Crawl-delay (seconds, 0 = none)

Include Sitemap reference

Sitemap URL

Placement: Upload to your root domain: https://yourdomain.com/robots.txt

Case Sensitive: Paths are case-sensitive. /Admin/ ≠ /admin/

Not Security: robots.txt is advisory only. Don't rely on it to hide sensitive content — use authentication instead.

Wildcards: Use * for pattern matching. Example: Disallow: /*.pdf$ blocks all PDFs.

Testing: Use Google Search Console to test your robots.txt.

हमारी टीम आपके स्टार्टअप के लिए व्यक्तिगत मार्गदर्शन प्रदान कर सकती है।

संपर्क करें

आवश्यक

साइट के कामकाज के लिए आवश्यक। अक्षम नहीं किया जा सकता।

हमेशा चालू

एनालिटिक्स

यह समझने में मदद करें कि आगंतुक साइट के साथ कैसे इंटरैक्ट करते हैं (Google Analytics, Yandex Metrika)।

मार्केटिंग

आपकी गतिविधि के आधार पर प्रासंगिक प्रचार और ऑफ़र दिखाने के लिए उपयोग किया जाता है।

प्राथमिकताएं

आपकी सेटिंग्स जैसे भाषा और थीम याद रखें।