गूगलबॉट (Googlebot) क्या है और ये कैसे काम करता है?

What is GoogleBot in Hindi: किसी भी Web Page (Blog/Website) तब तक Search Engine में Index नही हो सकती है जब तक उसे Google robots द्वारा Crawl नही किया गया हो। Google के लिए दुनियाभर की वेबसाइट को क्रॉल इंडेक्स करने वाले bots को GoogleBot कहते है। आज के इस आर्टिकल में हम इसी के बारे में जानेंगे कि गूगलबॉट क्या है और कैसे काम करता है?

Googlebot की बात आते ही मुझे एक cute, smart Wall-E robot दिखाई देता है, जो अज्ञात दुनिया के सभी कोनों में ज्ञान को खोजने और अनुक्रमित करने के लिए खोज पर तेजी से बढ़ रहा है।

आप अगर अभी तक गूगल बॉट क्या है के बारें मेँ नही जान पाये है तो आपको इस Article को आखरी तक पढ़ना चाहिए। जिसमें आप गूगल बॉट की पूरी जानकारी जान सकते है।

गूगल बॉट क्या है क्या है – What is GoogleBot in Hindi

Googlebot Google द्वारा उपयोग किया जाने वाला वेब क्रॉलर सॉफ्टवेयर है, जो Google खोज इंजन के लिए खोज योग्य सूचकांक बनाने के लिए वेब से दस्तावेज़ एकत्र करता है।

यह google’s web crawler का generic name है। यह नाम वास्तव में दो अलग-अलग प्रकार के वेब क्रॉलर का उल्लेख करने के लिए उपयोग किया जाता है।

• Desktop Crawler
• Mobile Crawler

डेस्डेकटॉप क्रॉलर कंप्यूटर पर एक उपयोगकर्ता का अनुकरण करता है, और एक मोबाइल क्रॉलर एक मोबाइल डिवाइस पर एक उपयोगकर्ता का अनुकरण करता है।

Bot एक तरह का Software होता है, जिसे Software Robots या Spider के नाम से भी जाना जाता है। Bot को Artificial Intelligence और Machine Learning की Help से Develop किया गया है। इसका मुख्य काम किसी भी Web Page पर मौजूद सभी Details को Search Engine मेँ Index/Crawl करना होता है।

सभी Search Engine का अलग-अलग Bots होती है, जो अपने-अपने Search Engine मेँ Blog/Website को Crawl करता है। यहाँ हम आपको Search Engine का King Google की गूगलबॉट के बारें मेँ बताने जा रहे है।

गूगल ने अपने अलग-अलग Crawl System को Index करने के लिए अलग-अलग तरह के गूगलबॉट बना रखा है। जिसे हम GoogleBot Family के नाम से भी जान सकते है।

सभी GoogleBots का Works Different होता है। आपने देखा होगा, जब भी आप Google में कोई भी Keyword Type करके Search करते है तो आपके सामने अलग-अलग Google Menus आते है।

जैसे:- News, Images, Videos, Shopping, Maps, Books इत्यादि। इन सभी Categories का Works अलग-अलग होता है।

GoogleBot कैसे काम करता है?

सभी सर्च इंजन का अलग-अलग Search Console होता है, जिसे हम Webmaster tool के नाम से भी जानते है। उसी तरह Google का Search Console tool है।

जब भी आप अपना Blog का कोई Page, Post या पूरी Website ही Search Console Crawl करते है तो GoogleBot Family आपके Blog पर एक Group में आती है।

जैसा कि हमने आपको पहले बताया था कि Google ने अपना कई तरह के Bots बना रखे है, जिसका Works अलग-अलग होता है। जब यह गूगलबॉट आपके Blog पर आता है तो वह यह देखता है कि इस Blog पर क्या-क्या Information दी हुई है।

उदाहरण के लिये, आपने अपना Article Google Search Console में Index करने के लिए Request की, तब सभी GoogleBots आपके Blog पर आते है और वह देखते है कि इस Post में Text के अलावा Image, Audio, Videos, Books, Locations, News क्या Content दिया गया है।

उसी हिसाब से जिस GoogleBot का जो Work होता है वह Data आपके Blog से opy करता है और उसे अपने Server में Store करके रखता है। जब गूगलबॉट का पूरा Works Complete हो जाती है तो गूगलबॉट आपके Blog से चली जाती है।

यह सब करने के बाद आपका Blog Post का URL Google Search Engine में Index कर देती है। जब भी कोई User आपके Blog Post Keyword के जरिये Search Result में आता है तो Google आपके Ranking के अनुसार आपके कंटेंट को search result में show करता है।

GoogleBot कितने प्रकार का होता है?

Google अब तक बहुत सारे Bots को Develop कर चुका है जो Google Search Result के लिए कई तरह के काम करते है। नीचे आप देख सकते है कि GoogleBot कितना प्रकार का होता है और सबका Bots का काम क्या-क्या है।

1. Desktop GoogleBot 

Google का Desktop Bot किसी भी Web Page को Desktop Version के रूप में Crawl करता है, जिससे कोई भी Result Search Engine में Show हो पाता है और User Experience को बढ़ाता है। यह Bot सिर्फ Desktop में ही Web Pages को Crawl करता है।

2. Mobile GoogleBot

Internet अधिक Mobile Browser से ही Use किया जाता है। Google का Mobile Bot किसी भी Blog को Mobile Friendly बनाने के लिए काम करता है, जिससे User को Help मिल सकें।

3. Image GoogleBot

जब भी आप अपना Blog Post में किसी भी Image को Add करते है तो Google का Image Bot आपके उस Image को Copy कर Google Search Result में Index करता है और user को Result Show करता है।

4. Videos GoogleBot

Basically जब Blog Post में YouTube Videos या Other Source का Video Content Add की जाती है तो Google का Video Bot उसे Crawl करके Google Videos Result के अलावा All Result में भी Show करता है।

5. News GoogleBot

आपका ब्लॉग अगर News से Related है और आपने Google News में अपना Blog Submit कर रखा है तो User जब भी किसी भी तरह के News के बारें में जानना चाहता है और अगर उसका Post आपके News Blog पर पहले से Publish है तो Google का News Bots आपका Blog Post Result में Show करता है।

6. Adsense GoogleBot

Google का Adsense Bot का यह Work होता है कि आपके Blog किसी भी Particular Post में किस Type का Content है। उसी हिसाब से यह Adsense Approve Blog पर Ads Show करता है।

7. Adword GoogleBot

Adword Google का Ad Service है, जो Adsense के साथ मिलकर Blog पर Ad Show करती है। Adword Bot का काम यह होता है कि User जो इस Blog पर Visit किया है, उसे किस Type का Result पसंद है।

कहने का मतलब User का Query अधिकतर समय क्या होती है, उसी Query के जरिये User को विज्ञापन दिखाता है।

8. Book GoogleBot

आपने अपना Blog Post में किसी Book के बारें में बताया है या उसका Download Link दिया है तो Google User को इस Bot के जरिये Google Menu Result में Book का भी Option Show करता है, जहां आपका भी Result Show कर सकता है।

एक तरीके से हम यह Confirm हो चुके है कि Google अपना काम कई तरह के Bots से करवाता है। आने वाले Time में GoogleBot और भी Develop किया जायेगा, जिससे User Experience और अच्छी किया जा सकेगा।

GoogleBot Page Crawl करने के लिए क्या-क्या ध्यान रखता है?

जब आप अपने Blog को Public करते है और आप यह चाहते है कि Search Engine आपके किस Page को Crawl करे और किस Page को नही तो ये आप खुद निर्धारित करते है।

इसके लिए आप robots.txt file का इस्तेमाल कर सकते है, जिसके जरिये हम सभी प्रकार के robots को control कर सकते है। गूगलबॉट को भी आप इसी से कण्ट्रोल कर सकते है।

GoogleBot किसी भी URL को Crawl करने से पहले उस Blog का robots.txt File को Scan करता है और यह निर्धारित करता है कि मुझे क्या-क्या Permission Crawl करने के मिला हुआ है।

या दूसरी तरह meta tags का इस्तेमाल करके रोबोट्स को कण्ट्रोल किया जा सकता है। इसमें Bots आपके Blog पर Add Meta tag <meta name=”Googlebot” content=”nofollow” /> को देखता है।

GoogleBot को Block कैसे करें

आप चाहते है कि GoogleBot आपके Blog पर कुछ Private Pages को Search Engine में Crawl नही करें तो आप उसे robots.txt के जरिये Block कर सकते है। जिससे Bot आपके उन पेजेज को Index नही कर पायेगा।

जिसका उदाहरण नीचे Code में दिया गया है,

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /recommends/ (Affiliate links are disallowed)
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php
User-agent: NinjaBot
Allow: /
User-agent: Mediapartners-Google*
Allow: /
User-agent-Googlebot-Image
Allow: /wp-content/uploads (Only we are allowing some specific folders for image indexing)
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /

नोट:– आप अपना Blog पर bots को Crawl करने से Disallow करना चाहते है तो इसे आप अपना robots.txt File में User-Agent: * और Disallow: करें।

Search engine bots को block करने की अधिक जानकारी के लिए ये आर्टिकल पढ़े, Website Security के लिए Bad Bots को Block कैसे करें?

तो देखा आपने GoogleBot आपकी Blog को Search Engine में कैसे Crawl करती है और यह किस तरह से काम करती है। एक बात याद रखे आप अपने Blog पर किसी Fixed Time में Post Publish करते है तो Google Bots उसे Search Engine में Index Fast करती है और Ranking बढ़ाने में भी Help करती है।

आखरी शब्द,

आपने इस Article में GoogleBot क्या है, कितने type का होता है और ये काम कैसे करता है के बारे में जाना। आशा करता हूँ आपको यह जानकारी पसंद आई होगी।

ये भी पढ़े,

• Keyword Research क्या है और ये SEO के लिए क्यों जरुरी है?
• SEO vs Social Media – Marketing के लिए कौनसा तरीका Best है?

आपको लगता है इस Information को Social media पर सबके साथ Share करनी चाहिए तो इसे Facebook, WhatsApp इत्यादि पर अवश्य Share करें।