आज इस पोस्ट में जानेंगे कि robots.txt क्या है यह हमारे ब्लॉग और वेबसाइट के लिए क्यों जरूरी है होता है robots.txt के बारे में अधिक से अधिक जानकारी इस पोस्ट में आपको मिलेगा यदि आप चाहते हैं कि आपका पोस्ट गूगल के सर्च रैंकिंग में पहले पेज पर आए तो आपको इसके बारे में जानकारी होना चाहिए तो चलिए इसके बारे में महत्वपूर्ण जानकारी प्राप्त करते हैं।
अक्सर आपने देखा होगा कि नया ब्लॉगर बहुत सारी चीजें को मिस्टेक करती है जिसके कारण उसके पोस्ट गूगल के सर्च रेंज में इंडेक्स नहीं हो पाता है और वह अच्छी तरह किसी भी पोस्ट को लिखने में इतना समय नहीं देता है जैसे तैसे इधर उधर से चुरा कर कॉन्टेंट लिख देते हैं और वह सोचता है कि हम अगले दिन से पैसे कमाने लगेंगे तो यह सब बिल्कुल गलत बात है आपको यहां पर बहुत ज्यादा मेहनत करने की आवश्यकता होगी ।
Robot.txt file SEO के के लिए बहुत जरूरी होता है यानी कि आप अपने ब्लॉग पर जब कोई भी पोस्ट लिखते हैं तो internet पर उसका एक रोबोट फाइल बन जाता है जिसका इस्तेमाल आपके पोस्ट को सर्च इंजन में रैंक करवाने के लिए किया जाता है तो चलिए इसके बारे में एक-एक करके सभी जानकारी जानते हैं ,
आपसे उम्मीद है कि कोई भी जानकारी हो इग्नोर नहीं करेंगे इस लेख को अच्छी तरह से ध्यान पूर्वक पड़ेंगे तभी जाकर आपका पोस्ट गूगल के सर्च रेंज में टॉप 10 पेजेस में दिखाई देगा तो चलिए शुरू करते हैं कि robot.txt क्या है ?
Robot.txt क्या है , What is robot.txt in Hindi
Robot.txt एक text file की तरह ही होता है , जिससे अपने वेबसाइट को सर्च रोबोट को यह बता सकता है कि उन्हें अपने वेबसाइट में किस पेज को विजिट करना है या इस पेज को crawl करना है, सर्च इंजन के लिए रोबोट्स का पालन करना जरूरी नहीं होता है ।
लेकिन यह जरूरी अवश्य होता है की मेंशन किए गए पेज और फोल्डर को कौन-कौन विजिट नहीं करता है इसलिए रोबोट बहुत ही महत्वपूर्ण है हमारे वेबसाइट के लिए इसी के सहायता से सर्च इंजन को कोई भी पोस्ट को ढूंढने में आसानी होती है यदि कोई भी पोस्ट कार रोबोट फाइल नहीं बना होता है ,
तो वह पोस्ट इंडेक्स गूगल सर्च बैंक में नहीं होता है इसके साथ ही आपके वेबसाइट के रैंकिंग भी कम होती जाएगी इसलिए यह हमारे लिए बहुत ही जरूरी होता है यह आपके ब्लॉग या वेबसाइट को पहले robot.txt file को crawl करते है , इसी में आपके वेबसाइट की सारी जानकारी मौजूद होता है की किस पोस्ट में क्रॉल कया गया है किस पोस्ट में कॉल नहीं किया गया है,
कौन सा पोस्ट search index mein main result show कर रहा है । इसका सबसे बड़ा फायदा यह होता है कि आपका पोस्ट seo friendly post पोस्ट बन जाता है जो आपके गूगल सर्च रैंकिंग में वृद्धि करता है और आपके वेबसाइट को अधिक से अधिक रैंक प्रदान करता है,
आसान शब्दों में कहे तो यदि आपका कोई ब्लॉग या वेबसाइट का पेज या पोस्ट को गूगल सर्च रैंकिंग में दिखाना चाहते हैं या फिर दिखाना नहीं चाहते हैं तो आप robots.txt file मे add कर दे ऐड करने से आपका पोस्ट गूगल सर्च रैंकिंग में नहीं दिखाई देगा ,
इससे जब भी कोई विजिटर्स आपके उस पोस्ट को गूगल में सर्च करेगा तो सर्च इंजन रोबोट फाइल को एक इंस्ट्रक्शन भेजेगा और उसमें इंडेक्स किया हुआ इंस्ट्रक्शन के अनुसार उसे दिखाई देगा या नहीं दिखाई देगा।
Robots.txt file कैसे बनाया जाता है ?
यदि आपने अपने ब्लॉग और वेबसाइट के लिए robots फाइल नहीं बनाया है तो आप जल्द से जल्द इसे बना लें क्योंकि यह आपको बहुत फायदेमंद साबित कर देगा ,
यह हमारे वेबसाइट को गूगल सर्च रैंकिंग में बहुत फायदा पहुंचाता है इसके साथ ही हमारे पोस्ट को सर्च रैंकिंग के टॉप 10 रिजल्ट में दिखाता है तो चलिए robots.txt file कैसे बनाया जाता है आसान से समझते है।
Robots.txt के नाम से एक txt file create करे , इसे बनाने के लिए नोटपैड का इस्तेमाल कर सकते हैं यदि आपने यह फाइल क्रिएट कर लिया है तो इसे सेव करें और अपने वेबसाइट के रूट डायरेक्टरी में अपलोड कर दें
जो कि प्रत्येक वेबसाइट में रूट लेवल फोल्डर मौजूद होता है और डोमेन नेम के बाद appear होता है , इसे htdocs भी कहा जाता है , यदि आप शब्दों में इनका उपयोग कर रहे हैं तो उसके लिए अलग रोबोट्स फाइल बनाने की जरूरत पड़ सकती है
Robots.txt की syntax क्या होता है ?
इसमें syntax का इस्तेमाल करना बहुत महत्वपूर्ण होता है तो चलिए एक-एक करके इसके बारे में अधिक से अधिक जानकारी प्राप्त करते हैं।
User Agent : -
Disallow : -
ये robots के pages को block करता है यदि आप चाहते हैं कि इसे कोई दूसरा एक्सेस नहीं कर पाए तो आप इसे डिसएलाऊ कर सकते हैं।
Noindex : -
इसका इस्तेमाल करने से गूगल सर्च इंजन आपके उस पेज को इंडेक्स नहीं करेगा जिसे आप इंटेक्स करवाना नहीं चाहते है ।
User Agent : -
सभी यूजर्स को seprate करने के लिए इसके द्वारा backlinks का इस्तेमाल किया जाता है इसके साथ ही इसका इस्तेमाल दो ग्रुपों के बीच का भी नहीं किया जाता है। तथा आप अपने यूजर्स को जो आप दिखाना चाहते हैं वह सब दिखा सकते हैं।
Harsh symboll ( # ) : -
इसका इस्तेमाल कॉमेंट्स के लिए किया जाता है। तथा इसके द्वारा सभी सर्च इंजन में मौजूद साइट को बंद किया जा सकता है और इसे चालू भी किया जा सकता है।
Robots.txt का फायदा ( advantage of robots.txt in hindi )
इसके बारे में हम लोगों को क्या-क्या फायदा होता है इसके बारे में जानकारी प्राप्त करती है यदि आप वेबसाइट या ब्लॉग में इसे ऐड करना चाहते हैं तो आप इसके फायदा के बारे में अवश्य जान ले ।
Robots.txt के प्रयोग करने से सेंसेटिव इनफॉरमेशन को प्राइवेट के तौर पर सुरक्षित रखा जा सकता है।
इसका इस्तेमाल पेज को इंडेक्स करने के लिए गूगल स्पोर्ट्स का इस्तेमाल किया जाता है।
यह सर्च इंजन बूट्स को इंफॉर्मेशन देता है कि कोई भी वेबसाइट के किस भाग में index करना है और किस भाग में index नहीं करना है।
इसके द्वारा किसी खास फाइल फोल्डर इमेज पीडीएफ या प्राइवेट पोस्ट को सर्च इंजन में इंडेक्स करने से रोका जा सकता है।
आप चाहे तो पूरे वेबसाइट को प्राइवेट करके रख सकते हैं।
इसके द्वारा आप अपने लो क्वालिटी कंटेंट को ब्लॉक करके किस में सुधार आसानी से कर सकते हैं।
इसके द्वारा crawl को गूगल सर्च कंसोल में set भी कर सकते हैं और आप अपने पोस्ट को इसके सर्वर पर ओवरलोड होने से बचा भी सकते हैं।
इससे हम अपनी वेबसाइट के परफारमेंस को आसानी से सुधार सकते हैं ।
Robots.txt file का इस्तेमाल नहीं करने से क्या होता है ?
यदि आप इस फाइल का इस्तेमाल नहीं करते हैं तब आपके सर्च इंजन पर कोई असर नहीं पड़ता है कि आप को कहा crawl करना है और कहां किसी पोस्ट को इंडेक्स करना है , लेकिन अपने वेबसाइट के अच्छे परफॉर्मेंस के लिए इस फाइल का इस्तेमाल करना चाहिए,
जिससे की आपके सर्च इंजन को आपके वेबसाइट के पेज को इंडेक्स करने में आसानी हो और उन्हें आपके सारे पेजेस को बार-बार चेक करने की आवश्यकता ना पड़े यदि आप इसका इस्तेमाल नहीं करते हैं तो आपको बहुत हानि पहुंच सकता है मेरे कहने का मतलब यह है,
कि आपका पोस्ट को इंडेक्स होने में बहुत ज्यादा समय लग सकता है इसके साथ ही गूगल सर्च इंजन में रंग करने में बहुत ज्यादा समय लग सकता है इसलिए इसका इस्तेमाल अवश्य करना चाहिए अपनी वेबसाइट के लिए।
किसी भी वेबसाइट में robots.txt कैसे देखे ?
यदि आप अपनी वेबसाइट के रोबोट्स फाइल को देखना चाहते हैं तो आप गूगल के सर्च बारे में अपनी वेबसाइट का नाम लिखकर उसके साथ robots.txt लगाकर सर्च करे जैसे example.com/robots.txt गूगल के सर्च बारे में लिखकर सर्च करें फिर आप देखेंगे ,
कि आपका रोबोट्स फाइल आपके सामने दिखाई देगा आप जिस में फंक्शन allow किया है वह आपके सामने दिखाई देगा, यदि आपका वेबसाइट wordpress पर मौजूद है तब आपको अपनी वेबसाइट के रूट फोल्डर में जाकर चेक कर सकते हैं इसमें आपको रोबोट्स फाइल की सारी जानकारी मिलेगी।
Robots.txt file wordpress मे कैसे add करे ?
यदि आपका वेबसाइट वर्डप्रेस पर है तो आप इसे ऐड करने की आवश्यकता होगी इसे ऐड करने के लिए आप अपनी वेबसाइट के yoast seo पर विजिट करें और फाइल एडिटर टूल्स पर क्लिक करें यहां क्लिक करने के बाद आप अपने वेबसाइट के साइटमैप को कॉपी करने के बाद पेस्ट कर दें ,
और फिर सेब पर क्लिक कर दें फिर आप देख पाएंगे कि आपका Robots.txt file wordpress मे ऐड हो चुका होगा इस प्रकार आप अपने वर्डप्रेस के वेबसाइट में जाकर इस फाइल को आसानी से जोड़ सकते हैं और अपनी वेबसाइट को गूगल सर्च रैंकिंग में नंबर वन पोजीशन पर आसानी से ला सकते हैं।
Blogger मे Robots.txt file add कैसे करें ?
ब्लॉगर में रोबोट्स फाइल को जोड़ने के लिए बहुत ही आसान तरीका मौजूद है आप इसे आसानी से ब्लॉगर में add कर सकते हैं, सबसे पहले रोबोट्स फाइल को जोड़ने के लिए ब्लॉगर के सेटिंग में कस्टम इनेबल Robots.txt को allow किया जाता है ,
आपको याद रहे कि आपका वेबसाइट यदि ब्लॉगर पर है तो आपको रोबोट्स फाइल क्रिएट करने की आवश्यकता नहीं होती है ब्लॉगर अपने आप सबसे बेस्ट रोबोट्स फाइल क्रिएट कर देता है हम लेकिन यदि आप इस ब्लॉग को वर्डप्रेस पर ट्रांसफर करते हैं तो आपको इस फाइल को क्रिएट करना होगा।
Robots.txt file SEO के लिए आवश्यक क्यों होता है?
आजकल किसी भी वेबसाइट को गूगल सर्च ranking में top 10 मे दिखाना चाहते हैं तो आपको अपने ब्लॉग के पोस्ट को seo करना बहुत महत्वपूर्ण होता है जितना बेहतर आपका seo होगा इतनी अच्छी रिजल्ट्स आपको दिखाई देगा, इसके लिए आपको Robots.txt File SEO अवश्य करना चाहिए ,
इसके साथ ही रोबोट्स फाइल क्रिएट कर अपने वेबसाइट में इसे जोड़ना भी अवश्य चाहिए क्योंकि जब आप अपने पोस्ट को साइटमैप के गूगल सर्च कंसोल में सबमिट कर देते हैं तब गूगल आपके पोस्ट को crawl या इंडेक्स करना स्टार्ट कर देता है। यदि आपने पहले से रोबोट्स फाइल क्रिएट नहीं किया रहते हैं,
तब गूगल आपके पूरे कंटेंट को इंडेक्स कर देता है जो पोस्ट को आप इंडेक्स करना नहीं चाहते हो जिसका seo अच्छा नहीं है यानी कि आप उसमें बेहतर तरीका से काम नहीं कर पाए हैं फिर भी गूगल आपके पोस्ट को इंडेक्स करना शुरू कर देता है इसीलिए आप अपने पोस्ट को robots.txt file का इस्तेमाल करके इंडेक्स करने से बचा सकते हैं।
also read :-
अक्सर पूछे जाने वाले प्रश्न
Robots.txt file क्या काम करता है ?
Search engine को help करता है
Robots.txt किसी भी वेबसाइट में कहा रहता है ?
Website के root folder मे
अपने ब्लॉग या वेबसाइट के लिए Robots.txt प्रयोग होना अति आवश्यक है?
बिल्कुल हां
Robots.txt का इस्तेमाल ब्लॉगर या वर्डप्रेस में करना चाहिए ?
WordPress
Robots.txt का इस्तेमाल नहीं किया गया तो क्या होगा?
Search engine सभी चीजों को index कर सकते हैं।
निष्कर्ष
हमें उम्मीद है कि Robots.txt क्या है यह हमारे ब्लॉग और वेबसाइट के लिए उपयोगी है इससे संबंधित सभी प्रकार के आपके मन में चल रहे प्रश्नों का उत्तर आपको मिल गया होगा यदि किसी भी प्रकार का कोई प्रश्न आपके मन में बच गया है तो आप हमसे कमेंट करके पूछ सकते हैं ,
हमें आशा है कि मेरे टीम द्वारा लिखा गया यह लेख Robots.txt क्या है आपको बहुत पसंद आया होगा उसे अधिक से अधिक सोशल मीडिया प्लेटफॉर्म जैसे फेसबुक व्हाट्सएप इंस्टाग्राम टेलीग्राम ट्विटर पिंटरेस्ट इत्यादि पर शेयर अवश्य करें इसके साथ ही आप हमें अवश्य बताएं कि यह लेख आपको कैसा लगा ।
Post a Comment