SEO के लिए कैसे बनाएं और Optimize करें

वर्डप्रेस रोबोट

जब भी हम wp ब्लॉग के SEO के बारे में बात करते हैं, WordPress robots.txt फ़ाइल खोज इंजन रैंकिंग में एक प्रमुख भूमिका निभाता है।

यह सर्च इंजन बॉट्स को ब्लॉक करता है और हमारे ब्लॉग के महत्वपूर्ण हिस्सों को इंडेक्स और क्रॉल करने में मदद करता है। हालांकि कभी-कभी, एक गलत तरीके से कॉन्फ़िगर किया गया Robots.txt फ़ाइल आपकी उपस्थिति को पूरी तरह से खोज इंजन से दूर जाने दे सकती है।

इसलिए, यह महत्वपूर्ण है कि जब आप अपने robots.txt फ़ाइल में परिवर्तन करते हैं, तो इसे अच्छी तरह से अनुकूलित किया जाना चाहिए और आपके ब्लॉग के महत्वपूर्ण हिस्सों तक पहुंच को अवरुद्ध नहीं करना चाहिए।

आदर्श वर्डप्रेस रोबोट txt फ़ाइल

Robots.txt में सामग्री के अनुक्रमण और गैर-अनुक्रमण के संबंध में कई गलतफहमियां हैं और हम उस पहलू पर भी गौर करेंगे।

SEO में सैकड़ों तत्व होते हैं और SEO के आवश्यक भागों में से एक Robots.txt है। आपकी वेबसाइट के मूल में खड़ी यह छोटी पाठ फ़ाइल आपकी वेबसाइट के गंभीर अनुकूलन में मदद कर सकती है।

अधिकांश वेबमास्टर्स Robots.txt फ़ाइल को संपादित करने से बचते हैं, लेकिन यह साँप को मारने जैसा कठिन नहीं है। बुनियादी ज्ञान वाला कोई भी व्यक्ति रोबोट फाइल बना और संपादित कर सकता है, और यदि आप इसके लिए नए हैं, तो यह पोस्ट आपकी आवश्यकता के लिए एकदम सही है।

यदि आपकी वेबसाइट में Robots.txt फ़ाइल नहीं है, तो आप सीख सकते हैं कि यह कैसे करें। यदि आपके ब्लॉग / वेबसाइट में Robots.txt फाइल है, लेकिन अनुकूलित नहीं है, तो आप इस पोस्ट का अनुसरण कर सकते हैं और अपनी Robots.txt फाइल को ऑप्टिमाइज़ कर सकते हैं।

WordPress Robots.txt क्या है और हमें इसका उपयोग क्यों करना चाहिए

मुझे मूल बातें से शुरू करते हैं। सभी खोज इंजनों में साइट क्रॉल करने के लिए बॉट होते हैं। क्रॉलिंग और इंडेक्सिंग दो अलग-अलग शब्द हैं, और यदि आप इसमें गहराई तक जाना चाहते हैं, तो आप पढ़ सकते हैं: Google क्रॉलिंग और इंडेक्सिंग।

जब कोई खोज इंजन बॉट (Google bot, Bing bot, 3rd party search engine crawlers) आपकी साइट पर लिंक के बाद या वेबमास्टर डैशबोर्ड में दिए गए साइटमैप लिंक के बाद आता है, तो वे आपकी साइट को क्रॉल और अनुक्रमित करने के लिए आपके ब्लॉग के सभी लिंक का अनुसरण करते हैं।

अब, ये दो फाइलें – साइटमैप .xml और Robots.txt – आपके डोमेन के मूल में रहती हैं। जैसा कि मैंने उल्लेख किया है, बॉट आपकी वेबसाइट के क्रॉलिंग को निर्धारित करने के लिए Robots.txt नियमों का पालन करते हैं। यहां robots.txt फ़ाइल का उपयोग किया गया है:

जब खोज इंजन बॉट आपके ब्लॉग पर आते हैं, तो आपके पास आपकी साइट को क्रॉल करने के लिए सीमित संसाधन होते हैं। यदि वे आवंटित संसाधनों के साथ आपकी वेबसाइट के सभी पृष्ठों को क्रॉल नहीं कर सकते हैं, तो वे क्रॉल करना बंद कर देंगे, जिससे आपकी अनुक्रमणिका बाधित होगी।

अब, उसी समय, आपकी वेबसाइट के कई हिस्से हैं, जिन्हें आप क्रॉल करने के लिए खोज इंजन बॉट नहीं चाहते हैं। उदाहरण के लिए, आपका WP- व्यवस्थापक फ़ोल्डर, आपका व्यवस्थापक डैशबोर्ड या अन्य पृष्ठ, जो खोज इंजन के लिए उपयोगी नहीं हैं। Robots.txt का उपयोग करते हुए, आप अपनी वेबसाइट के ऐसे क्षेत्रों को क्रॉल नहीं करने के लिए खोज इंजन क्रॉलर (बॉट) को निर्देशित कर रहे हैं। यह न केवल आपके ब्लॉग के रेंगने की गति बढ़ाएगा, बल्कि आपके आंतरिक पृष्ठों को क्रॉल करने में भी मदद करेगा।

Robots.txt फ़ाइल के बारे में सबसे बड़ी गलत धारणा यह है कि लोग इसका उपयोग Noindexing के लिए करते हैं

याद रखें, Robots.txt फ़ाइल Do Index या Noindex के लिए नहीं है। यह करने के लिए है आपके ब्लॉग के कुछ हिस्सों को क्रॉल करने से रोकने के लिए डायरेक्ट सर्च इंजन बॉट्स। उदाहरण के लिए, यदि आप BloggerTutor.com Robots.txt फ़ाइल (वर्डप्रेस प्लेटफ़ॉर्म) को देखते हैं, तो आप स्पष्ट रूप से समझ पाएंगे कि मैं अपने ब्लॉग के किस भाग को क्रॉल करने के लिए खोज इंजन बॉट नहीं चाहता।

Robots.txt फ़ाइल खोज इंजन रोबोट और निर्देश देता है कि कौन सा भाग क्रॉल करना है और कौन सा भाग बचने के लिए। जब खोज इंजन का कोई खोज बॉट या स्पाइडर आपकी साइट पर आता है और आपकी साइट को अनुक्रमित करना चाहता है, तो वे पहले Robots.txt फ़ाइल का अनुसरण करते हैं। खोज बॉट या मकड़ी आपकी वेबसाइट के पृष्ठों को अनुक्रमणित करने या न करने के लिए फ़ाइल निर्देशों का पालन करती है।

यदि आप वर्डप्रेस का उपयोग करते हैं, तो आप अपने वर्डप्रेस इंस्टॉलेशन की जड़ में Robots.txt फाइल पाएंगे।

स्थैतिक वेबसाइटों के लिए, यदि आपने या आपके डेवलपर्स ने एक बनाया है, तो आप इसे अपने रूट फ़ोल्डर में पाएंगे। यदि आप नहीं कर सकते हैं, तो बस एक नई नोटपैड फ़ाइल बनाएं और इसे Robots.txt नाम दें और इसे एफ़टीपी का उपयोग करके अपने डोमेन के रूट डायरेक्टरी में अपलोड करें।

यहाँ Robots.txt फ़ाइल का उदाहरण दिया गया है और आप डोमेन के रूट पर सामग्री और उसके स्थान को देख सकते हैं।

https://www.bloggertutor.com/robots.txt

Robots.txt फ़ाइल कैसे जनरेट करें?

जैसा कि मैंने पहले बताया, Robots.txt एक सामान्य टेक्स्ट फ़ाइल है। इसलिए, यदि आपके पास यह फ़ाइल आपकी वेबसाइट पर नहीं है, तो आप जैसा चाहें वैसा कोई भी टेक्स्ट एडिटर खोलें (नोटपैड, उदाहरण के लिए) और एक या अधिक रिकॉर्ड के साथ बनाई गई Robots.txt फ़ाइल बनाएँ। हर रिकॉर्ड सर्च इंजन के लिए महत्वपूर्ण जानकारी देता है। उदाहरण:

User-agent: googlebot

अस्वीकार करें: / cgi-bin

यदि ये पंक्तियाँ Robots.txt फ़ाइल में लिखी गई हैं, तो इसका मतलब है कि यह Google बॉट को आपकी साइट के प्रत्येक पृष्ठ को अनुक्रमित करने की अनुमति देती है। परंतु cgi-bin रूट निर्देशिका का फ़ोल्डर अनुक्रमण के लिए अनुमति नहीं देता है। इसका मतलब है कि Google bot इंडेक्स इंडेक्स नहीं है cgi-bin फ़ोल्डर।

Disallow ऑप्शन का उपयोग करके, आप किसी पेज या फ़ोल्डर को इंडेक्स करने से किसी भी सर्च बॉट या स्पाइडर को प्रतिबंधित कर सकते हैं। कई साइटें हैं जो संग्रह फ़ोल्डर या पृष्ठ में कोई इंडेक्स नहीं बनाने के लिए उपयोग करती हैं डुप्लिकेट सामग्री

आप खोज बॉट के नाम कहां से प्राप्त कर सकते हैं?

आप इसे अपनी वेबसाइट के लॉग में प्राप्त कर सकते हैं, लेकिन यदि आप खोज इंजन से बहुत सारे आगंतुक चाहते हैं, तो आपको प्रत्येक खोज बॉट की अनुमति देनी चाहिए। इसका मतलब है कि हर खोज बॉट आपकी साइट को अनुक्रमित करेगा। तुम लिख सकते हो User-agent: * हर खोज बॉट की अनुमति के लिए। उदाहरण के लिए:

User-agent: *

अस्वीकार करें: / cgi-bin

यही कारण है कि हर सर्च बॉट आपकी वेबसाइट को इंडेक्स करेगा।

Robots.txt फ़ाइल का न करें

1. Robots.txt फ़ाइल में टिप्पणियों का उपयोग न करें।

2. किसी भी लाइन की शुरुआत में जगह न रखें और फाइल में साधारण जगह न रखें। उदाहरण:

बुरा अभ्यास:

   User-agent: *

Dis allow: / support

अच्छा अभ्यास:

User-agent: *

अस्वीकार करें: / समर्थन

3. कमांड के नियमों में बदलाव न करें।

बुरा अभ्यास:

Disallow: /support

उपभोक्ता अभिकर्ता: *

अच्छा अभ्यास:

User-agent: *

अस्वीकार: / समर्थन

4. यदि आप एक से अधिक निर्देशिका या पृष्ठ को अनुक्रमित नहीं करना चाहते हैं, तो इन नामों के साथ न लिखें:

बुरा अभ्यास:

User-agent: *

अस्वीकार करें: / समर्थन / cgi-bin / छवियां /

अच्छा अभ्यास:

User-agent: *

अस्वीकार: / समर्थन

अस्वीकार करें: / cgi-bin

अस्वीकार करें: / चित्र

5. पूंजी और छोटे अक्षरों का सही उपयोग करें। उदाहरण के लिए, यदि आप “डाउनलोड” निर्देशिका को अनुक्रमित करना चाहते हैं, लेकिन Robots.txt फ़ाइल पर “डाउनलोड” लिखें, तो यह खोज बॉट के लिए गलतियाँ करता है।

6. यदि आप अपनी साइट के सभी पृष्ठों और निर्देशिकाओं को अनुक्रमित करना चाहते हैं, तो लिखें:

User-agent: *

अनुमति न दें:

7. लेकिन अगर आप चाहते हैं कि आप सभी पेज के लिए कोई इंडेक्स न दें और साइट की डायरेक्टरी लिखें:

User-agent: *

अस्वीकार करें: /

Robots.txt फ़ाइल को संपादित करने के बाद, इसे अपनी साइट के रूट या होम निर्देशिका पर किसी भी एफ़टीपी सॉफ़्टवेयर के माध्यम से अपलोड करें।

WordPress Robots.txt गाइड:

आप या तो सर्वर के अपने एफ़टीपी खाते में लॉग इन करके अपनी वर्डप्रेस रोबोट्स.टैक्स फ़ाइल को संपादित कर सकते हैं या आप वर्डप्रेस डैशबोर्ड से रॉबर्ट्स.टेक्स फ़ाइल को संपादित करने के लिए रोबोट मेटा जैसे प्लगइन्स का उपयोग कर सकते हैं। कुछ चीजें हैं जो आपको अपने साइटमैप URL के साथ अपने Robots.txt फ़ाइल में जोड़नी चाहिए। साइटमैप URL जोड़ने से खोज इंजन बॉट को आपकी साइटमैप फ़ाइल खोजने में मदद मिलती है और परिणाम पृष्ठों के तेज़ी से अनुक्रमित होते हैं।

यहाँ किसी भी डोमेन के लिए एक नमूना Robots.txt फ़ाइल है। साइटमैप में, अपने ब्लॉग URL के साथ साइटमैप URL बदलें:

sitemap: https://www.bloggertutor.com/sitemap.xml

User-agent:  *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /archives/
disallow: /*?*
Disallow: *?replytocom
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

ख़राब SEO बॉट्स को ब्लॉक करें (पूरी सूची)

कई SEO टूल हैं जैसे कि Ahrefs, SEMRush, Majestic और कई अन्य जो SEO रहस्यों के लिए आपकी वेबसाइट को क्रॉल करते रहते हैं। इन रणनीतियों का उपयोग आपके प्रतियोगी अपने लाभों के लिए करते हैं और आपके लिए मूल्य नहीं जोड़ते हैं। इसके अलावा, ये SEO क्रॉलर आपके सर्वर में लोड भी जोड़ते हैं और आपके सर्वर की लागत को बढ़ाते हैं।

जब तक आप इनमें से एक एसईओ टूल का उपयोग नहीं कर रहे हैं, आप अपनी साइट को क्रॉल करने से बेहतर रोक सकते हैं। यहाँ मैं अपने robots.txt पर सबसे लोकप्रिय एसईओ एजेंटों में से कुछ को ब्लॉक करने के लिए उपयोग करता हूं:

उपयोगकर्ता-एजेंट: MJ12bot
अस्वीकार करें: /
उपयोगकर्ता-एजेंट: SemrushBot
अस्वीकार करें: /
उपयोगकर्ता-एजेंट: SemrushBot-SA
अस्वीकार करें: /
उपयोगकर्ता-एजेंट: dotbot
अस्वीकार करें: /
उपयोगकर्ता-एजेंट: AhrefsBot
अस्वीकार करें: /
उपयोगकर्ता-एजेंट: एलेक्सिबॉट
अस्वीकार करें: /
उपयोगकर्ता-एजेंट: SurveyBot
अस्वीकार करें: /
उपयोगकर्ता-एजेंट: ज़ेनू
अस्वीकार करें: /
उपयोगकर्ता-एजेंट: ज़ेनू का लिंक स्लीथ 1.1 सी
अस्वीकार करें: /
उपयोगकर्ता-एजेंट: rogerbot
अस्वीकार करें: /

# NextGenSearchBot को ब्लॉक करें
उपयोगकर्ता-एजेंट: NextGenSearchBot
अस्वीकार करें: /
# क्रॉलिंग साइट से ब्लॉक ia-archiver
उपयोगकर्ता-एजेंट: ia_archiver
अस्वीकार करें: /
# क्रॉलिंग साइट से आर्काइव.ऑर्ग_ ब्लॉक करें
उपयोगकर्ता-एजेंट: आर्काइव ..org_bot
अस्वीकार करें: /
क्रॉलिंग साइट से # आर्काइव.ब्लॉक को ब्लॉक करें
उपयोगकर्ता-एजेंट: Archive.org बॉट
अस्वीकार करें: /

# क्रॉलिंग साइट से लिंकवॉकर ब्लॉक करें
उपयोगकर्ता-एजेंट: LinkWalker
अस्वीकार करें: /

# क्रॉलिंग साइट से GigaBlast स्पाइडर को ब्लॉक करें
उपयोगकर्ता-एजेंट: GigaBlast स्पाइडर
अस्वीकार करें: /

# क्रॉलिंग साइट से ia_archiver-web.archive.org_bot ब्लॉक करें
उपयोगकर्ता-एजेंट: ia_archiver-web.archive.org
अस्वीकार करें: /

# क्रॉलिंग साइट से PicScout क्रॉलर को ब्लॉक करें
उपयोगकर्ता-एजेंट: PicScout
अस्वीकार करें: /

# क्रॉलिंग साइट से BLEXBot क्रॉलर को ब्लॉक करें
उपयोगकर्ता-एजेंट: BLEXBot क्रॉलर
अस्वीकार करें: /

# क्रॉलिंग साइट से टिनई ब्लॉक करें
उपयोगकर्ता-एजेंट: TinEye
अस्वीकार करें: /

# ब्लॉक एसईओ
उपयोगकर्ता-एजेंट: SEOkicks- रोबोट
अस्वीकार करें: /

# ब्लॉक BlexBot
उपयोगकर्ता-एजेंट: BLEXBot
अस्वीकार करें: /

# SISTRIX को ब्लॉक करें
उपयोगकर्ता-एजेंट: SISTRIX क्रॉलर
अस्वीकार करें: /

# ब्लॉक अपटाइम रोबोट
उपयोगकर्ता-एजेंट: UptimeRobot / 2.0
अस्वीकार करें: /

# ब्लॉक एज़ोम्स रोबोट
उपयोगकर्ता-एजेंट: Ezooms रोबोट
अस्वीकार करें: /

# ब्लॉक नेटस्टेट एनआर क्रॉलर (+ http: //www.website-datenbank.de/)
उपयोगकर्ता-एजेंट: netEstate NE Crawler (+ http: //www.website-datenbank.de/)
अस्वीकार करें: /

# ब्लॉक वाइज्यूज रोबोट
उपयोगकर्ता-एजेंट: समझदार रोबोट
अस्वीकार करें: /

# ब्लॉक टर्निटिन रोबोट
उपयोगकर्ता-एजेंट: टर्निटिन रोबोट
अस्वीकार करें: /

# ब्लॉक हेरिट्रिक्स
उपयोगकर्ता-एजेंट: हेरिट्रिक्स
अस्वीकार करें: /

# ब्लॉक प्राइस
उपयोगकर्ता-एजेंट: pimonster
अस्वीकार करें: /
उपयोगकर्ता-एजेंट: Pimonster
अस्वीकार करें: /
उपयोगकर्ता-एजेंट: पाई-मॉन्स्टर
अस्वीकार करें: /

# एनरो को ब्लॉक करें
उपयोगकर्ता-एजेंट: ECCP / 1.0 ([email protected])
अस्वीकार करें: /

# ब्लॉक पॉटबोट
उपयोगकर्ता-एजेंट: Psbot
अस्वीकार करें: /

# ब्लॉक Youdao
उपयोगकर्ता-एजेंट: YoudaoBot
अस्वीकार करें: /

# BLEXBot
उपयोगकर्ता-एजेंट: BLEXBot
अस्वीकार करें: /

# ब्लॉक नौवरबोट
उपयोगकर्ता-एजेंट: NaverBot
उपयोगकर्ता-एजेंट: यति
अस्वीकार करें: /

# ब्लॉक ZBot
उपयोगकर्ता-एजेंट: ZBot
अस्वीकार करें: /

# ब्लॉक वागाबोंडो
उपयोगकर्ता-एजेंट: वागाबोंडो
अस्वीकार करें: /

# ब्लॉक लिंकवॉकर
उपयोगकर्ता-एजेंट: LinkWalker
अस्वीकार करें: /

# ब्लॉक सिंपली
उपयोगकर्ता-एजेंट: SimplePie
अस्वीकार करें: /

# ब्लॉक विग
उपयोगकर्ता-एजेंट: Wget
अस्वीकार करें: /

# ब्लॉक पिक्चर-सीकर
उपयोगकर्ता-एजेंट: Pixray-Seeker
अस्वीकार करें: /

# ब्लॉक बोर्डरीडर
उपयोगकर्ता-एजेंट: बोर्डरीडर
अस्वीकार करें: /

# ब्लॉक मात्रा निर्धारित करें
उपयोगकर्ता-एजेंट: मात्रा निर्धारित करें
अस्वीकार करें: /

# ब्लॉक प्लूक्की
उपयोगकर्ता-एजेंट: प्लुक्की
अस्वीकार करें: /

# ब्लॉक क्यूम
उपयोगकर्ता-एजेंट: Cuam
अस्वीकार करें: /

# https://megaindex.com/crawler
उपयोगकर्ता-एजेंट: MegaIndex.ru
अस्वीकार करें: /

उपयोगकर्ता-एजेंट: megaindex.com
अस्वीकार करें: /

उपयोगकर्ता-एजेंट: + http: //megaindex.com/crawler
अस्वीकार करें: /

उपयोगकर्ता-एजेंट: MegaIndex.ru/2.0
अस्वीकार करें: /

उपयोगकर्ता-एजेंट: MegaIndex.ru
अस्वीकार करें: /

यह सुनिश्चित करना कि कोई भी सामग्री नई Robots.txt फ़ाइल से प्रभावित नहीं है

इसलिए अब आपने अपनी Robots.txt फ़ाइल में कुछ बदलाव किए हैं, और यह जांचने का समय है कि क्या आपकी कोई भी सामग्री robots.txt फ़ाइल में अपडेशन के कारण प्रभावित हुई है।

आप यह देखने के लिए कि क्या आपकी सामग्री को Robots.txt फ़ाइल द्वारा एक्सेस किया जा सकता है या नहीं, आप Google खोज कंसोल ch Fetch as Google टूल ’का उपयोग कर सकते हैं।

ये कदम सरल हैं।

Google खोज कंसोल में लॉगिन करें, अपनी साइट चुनें, निदान पर जाएं और Google के रूप में प्राप्त करें।

अपनी साइट पोस्ट जोड़ें और जाँचें कि क्या आपके पोस्ट तक पहुँचने में कोई समस्या है।

आप खोज कंसोल के क्रॉल त्रुटि अनुभाग के तहत Robots.txt फ़ाइल के कारण क्रॉल त्रुटियों की भी जांच कर सकते हैं।

Crawl> Crawl Error के तहत, Robots.txt द्वारा प्रतिबंधित का चयन करें और आप देखेंगे कि Robots.txt फ़ाइल द्वारा सभी लिंक को अस्वीकार कर दिया गया है।

यहाँ BloggerTutor.com के लिए Robots.txt क्रॉल त्रुटि का एक उदाहरण दिया गया है:

आप स्पष्ट रूप से देख सकते हैं कि Replytocom लिंक को Robots.txt द्वारा अस्वीकार कर दिया गया है और इसलिए अन्य लिंक भी हैं जो Google का हिस्सा नहीं होना चाहिए। FYI करें, Robots.txt फ़ाइल SEO का एक आवश्यक तत्व है, और आप अपने Robots.txt फ़ाइल को अपडेट करके कई पोस्ट डुप्लिकेट मुद्दों से बच सकते हैं।

क्या आप _ का उपयोग करते हैं वर्डप्रेस रोबोट अपनी साइट का अनुकूलन करने के लिए? क्या आप अपनी Robots.txt फ़ाइल में अधिक जानकारी जोड़ना चाहते हैं? हमें नीचे टिप्पणी अनुभाग का उपयोग कर पता है। अधिक एसईओ युक्तियां प्राप्त करने के लिए हमारे ई-मेल समाचार पत्र की सदस्यता लेना न भूलें।

आगे पढ़ने के लिए यहां कुछ अन्य हस्त-निर्देशित गाइड हैं:

Leave a Comment

Your email address will not be published. Required fields are marked *

Scroll to Top