Support Me India

Robots.txt File Ko Blog Me Kaise Add Kare – Step by Step Full Guide

by: ,

आज मैं आपको बताने जा रहा हूँ की blog में robots.txt code कैसे use करते है। आपने पहले भी इसे try तो किया होगा but error आता होगा तो चलिए आज हम इसे सही तरीके से add करना सीख लेते है अगर आप चाहते है की आपकी blogging के साथ साथ गोपिनियता भी बनी रहे तो robots.txt add करना बेहतर होगा।

robots.txt file

Robots.txt एक file है blogger ने इसे blog में इसलिए add किया है ताकि हम इसकी help से कुछ प्राइवेट बाते google जैसे search engine से छिपा सके। ये blog की हर post हर page में होता है आप चाहे जिसे google, bing, yahoo जैसे search engine से छिपा सकते हैं।

Robots.txt कैसे काम करता हैं?

थोड़ी देर के लिए मान लीजिए robots.txt आपकी website का bodyguard है अब जब भी कोई users हमारी website से related कोई topic किसी search engine में search करता है तो search engine हमारी website पर आता है तो आपकी website का bodyguard यानी robot.txt उसे बताता है की उसे इस website पर क्या क्या दिखाना allow है। तो दोस्तों इस तरह robots.txt file हमारी website की privacy की security करता हैं।

अपने Blog के लिए Robots.txt File कैसे बनाए?

वैसे तो कई websites है blog के लिए robot.txt file बनाने वाली but अगर वो true होती तो थोड़ी देर के लिए सोचो blogger ने आज तक ये service start नहीं की हैं। मैं आपको इतना ही कहना चाहूँगा की आपको कही जाने की आवश्यकता नहीं है। यहाँ आज मैं आपको robots.txt file के वो code दे रहा हूँ जो blogger के बताए हुए हैं आप चाहे तो इसे blogger help forum में जाकर देख सकते हो। अगर आप ये देखना चाहते हो तो उसके लिए यहाँ पर click कीजिए Click hare.

1. User – agent: Media partners – Google

यह एक google adsense robot है अगर आप अपने blog में adsense के code use करते हो तो आप इसको use कर के search engine से अपने code छिपा सकते हो अगर adsense use नहीं करते है तो आपके लिए ये कोई जरुरी नहीं हैं।

2. User – agent:

यह आपकी website के सभी users के लिए है उन्हें आपकी website में क्या क्या देखना चाहिए और क्या नहीं तो इसे dish allow ही रहने दीजिए ताकि हमारे blog की security बनी रहे।

3. Disallow: /search

यह code आपकी website के keyboards के लिए है इसे हमे अपनी website के लिए not allow करना चाहिए ताकि search engine इसे ना दिखा सके। आप चाहे तब यहाँ अपनी website के किसी page, post या keyboard का URL यहाँ डाल के sdish allow कर सकते है जैसे :- https://www.supportmeindia.com/label/blogger

4. Allow:

यहाँ पर आप search engine को क्या क्या show करना है वो सैट कर सकते है अगर आप इसे सभी पर allow रहने दे तो ही अच्छा रहेगा।

5. Sitemap 

ये सबसे important है sitemap search engine को हमारी website की new post की जानकारी देता है उसे कब क्या search करना है कौनसी post में कितने URL है कौनसी सबसे popular है और भी बहुत काम है sitemap के दोस्तों blog में robot. txt file add करने से पहले आपको अपने blog के लिए sitemap बनना होगा। आप यहाँ पर click कर के पहले अपने blog के लिए sitemap बना सकते हैं। अपनी Website (Blog) के लिए Google Sitemap कैसे बनाए ?

User-agent: Mediapartners-Google
 Disallow:
 User-agent:
 Disallow: /search
 Allow: /
 Sitemap: https://www.supportmeindia.com/sitemap.xml

इस code को copy कर लीजिए copy करने से पहले इसमें https://www.supportmeindia.com//sitemap.example की जगह खुद की website का sitemap add कर लीजिए।

Robots.txt File को Blog में कैसे Add करें?

Step 1:

1. सबसे पहले blogger.com website पर जाइए।

Crawl and indexing

  1. अब Blog की settings में जाइए।
  2. Search preferences पर click कीजिए।
  3. अब Custom Robots.text के सामने edit पर click कीजिए।

Step 2:

Custom robot.txt

  1. Yes पर tick कर दीजिए।
  2. यहाँ ऊपर दिया गया code paste कर दीजिए।
  3. अब आपको Save changes पर click करना हैं।

अब आपके blog में robots.txt file add हो चुकी है आप कोई भी search engine जो आपको robot.txt file allow करेगा वही दिखाएगा।

Note :- अगर आप अपने blog में से कोई चीज publish नहीं करना चाहते है तो ही इस robots.txt file को अपने blog में add करें। अगर आपको कोई page, post keyboard, label search engine से नहीं छिपाना है तो आप अपने blog में robot.txt add ना करें।

आपको robot.txt file से related कोई सवाल पूछना है तो comment में पूछ सकते हो।

उम्मीद है आपको ये post अच्छी लगी होगी अगर हाँ तो हमारी website की और भी post पढ़िए और हमारी post को अपने सभी friends के साथ social media पर शेयर भी कीजिए।

Related Posts for You

Reader Interactions

Comments (119)

  1. kya ye code sahi h Sir meri Site pr WordPress website h 

    User-agent: *
Disallow:

Sitemap: https://activatetips.com/sitemap_index.xml

    • Disallow blank mat rakho jo path disallow karna hai wo add karo, jaise ki

      Disallow: /wp-admin/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php

  2. Page block by robot. txt valid with warring me error hai yellow color. Search or label k karan ho raha hai. Ese fix kese kare.

  3. Bahut hi achhi jaankari sir par mere blog me 21 pages valid with warning 1 issue ke sath show kar raha hai aur ye robot.txt dwara block kar diya gaya hai jo yellow signal ke sath show kar raha hai. ismen label ya categories hai jo robot.txt dwara block hai.
    sath me coverage issue me 0 no issue show kr raha hai. Valid me 18 or Exluded me 64 kya isse mere blog ki search engine me koi fark padega ya 21 jo effected page hain unhe unblock karna jaruri hai ?
    please guide karein.

    • जब तक आपको robot.txt code की समझ ना हो तब तक आप default robot.txt उपयोग करो

  4. Bhai mera website google aur bing do search console mai submit kiya hai to dono k liye robots txt file banana padega.

    • नहीं एक ही बहुत है।

  5. Bhai Google AdSense ka approval nhi Mila hai or application approval ke liye bheji hai to (User-agent: Mediapartners-Google) ka use robot.txt me use Kar sakte hai.

    • नहीं, ads.txt फाइल में करना है

      • Sir ye code User-agent: Mediapartners-Google
        Disallow:
        Ads.txt ko block kar deta h

        • नहीं पर इसको use करने की जरुरत नहीं है

  6. Blogger Blog ke liye jo robot.txt code hai kya sirf use blogger me hi submit karein ya fir us same code ko search console me bhi submit karein.
    apka is code me sitemap alga hai aur mera atom wala sitemap hai to kya usse koi problem ho sakti hai ?

    • Search console में भी submit करना है, No problem.

  7. Mere blog par 3 warning aai h unko kese fix karna hai mujhe kya karna chaiye

    • Warning क्या है?

  8. meine appka code save kiya hei save ho gaya hei blog mein.
    aur mein koi post chipana nahi chahta sari post dikhana chahta hun to is code se koi dikkat to nahi hei.

  9. Bro agar robots tex file add karna jaruri hai kya nahi, nahi kare to blog ranking me kuch asar ho sata hai kya. Plz bataye

    • Nahi, agar aap apne blog ke kisi content ko search engine se hide nahi karna chahate hai to jarurat nahi hai.

  10. Robot.txt file ko remove karna h kese hoga

    • robots.txt se all code ko remove kar do.

  11. Hello sir mere site blogger me hai aur Maine robot txt ko disable Kiya hai aur jab mai apne site ke url dalkar /search karta hu to blocked by robot txt dikha Raha hai pls help site ka url to search engine me aa Gaya hai lekin name search Karne per Nahi aa Raha hai

    • search console me site url ko fetch karke dekho jo bhi reason hoga pata chal jayega.

  12. index hue lebel, categories and archive ko kaise hataye

    • noindex tag add karke.

      • no index tag kaise add kare please ye thoda detail mai bata dijiye Sir

  13. Thank you sir, ap ne bahat achhi tarike se samajhaya hai.

  14. Hello sir
    Aapne mujhe jo code diya tha wo mene search console and wp robots.txt me add kiya fir bhi post open karne par error aaraha hai sir meri site ki koi bhi post 4 day se open nahi ho rahi hai sir aap koi aisa robot txt file code de jo wp and search console me work kare sir me bahut problem hu plz sir helm me.

    • code search console me nahi blog robots.txt file me add karna hai.

  15. Hii sir
    Aapke dwara diya code me Robots.txt file me submit kar diya hai jab me page ko refresh karta hu to wo code show nahi hota hai and post open karne par fir bhi error aaraha hai plz help me

    • Code ko wordpress dashboard >> yoast seo >> tools setting me ja kar robots.txt file me add karo.

  16. Hello Sir
    Search console robots.txt tester me jo code hota hai wo mujhse galti se delete ho gaya hai ab meri site ki koi bhi post open nahi ho rahi hai error aaraha hai ab wo code mere pass nahi hai jo me dubara se add kar deta sir aap hi kuch bataye me kya karu me wordpress par hu.

    • Aap ye code robots.txt file me add kar sakte ho.

      User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

  17. सर, मैंने पहले ही रोबोट डॉट टीएक्सटी फाइल को ब्लॉग में ऐड कर लिया था, लेकिन जब आज मैंने सर्च प्रेफरेंसेस में देखा तो वहां पर कस्टम रोबोट डॉट टीएक्सटी डिसेबल्ड था, तो क्या इसका मतलब अब मुझे फिर से रोबोट डॉट टीएक्सटी फाइल को ऐड करना पड़ेगा?

    • Aap blog me robots.txt code add karo na ki search console me .

  18. This post is very useful…

  19. hello sir mai apke blog ka ragular vistor hu aur mai apse hi blogging seekh raha hu maine bhi ek website banai hai please sir hamari site ko dekh kar bataye ki usme kya kami rah gai hai.

    • Koi kami nahi hai bahut achha blog hai.

  20. Sir bahut badhiya post likhi hai apne ye post har blogger ke liye helpful hai.

  21. One more question i want to ask: mene abhi apne blog ko adsense ke lie apply nhi lia hai, uske bad bhi new Google search console me Total Impression,Total Clicks aur Average CTR show ho rha hai… Esa kyu hai sir???please Reply me ASAP

    • Ye google search traffic ki report hai.

  22. Sir, Meri site me Robot.txt Disabled hai, i mean me iske bare me thik se nhi janta to islie mene ise disable hi rakha hai, But abhi bhi 10 ese page hai jo blocked by robot.txt hai,,, to sir esa Kyu hai.. kyonki me is error ko solve nhi kar pa raha hu… So please reply me ASAP

    • Aap first robots.txt ko achhe se samajh lo uske bad edit karo

  23. Sir aapke blog ke head par jo ad show ho raha hai uski size mobile theme me alag hai or desktop me alag hai. Sir blog me responsive ad kaise lagaye.

    • Main responsive ad use karta hu.

  24. why not.

    • Agar mai robot.txt me kuch na likhi but use yes kar du to koi problems hogi ki nhi..sir

      • No problem.

  25. Jumedeen bhai maine new domain add kiya hai magar dono site me jab concole me sitemap add karta hu to robot txt file error show ho raha hai please solution jumedeen bhai

    • Robots.txt file me sahi code use karo ya use hi mat karo.

  26. sir mere blog ke search console me robot.txt tester me

    ” user- agent : ”

    me error bata raha hai

    • Ye code use karo
      User-agent: *

      • thanks sir ye to sach me kaam kar gayi

  27. Thank you for sharing this information. This information is very helpful for me. I hope that you share daily new information on blogging.

  28. sir maire blog me search console se robots.txt submit ho gya use hatane ke liye kya krna hoga.

    • blog se remove karo search console se bhi remove ho jayega.

  29. Sir maine 2 month phle ek blog bnaya tha or ab naine uska URL change kiya h to phle wale URL se bhi vo blog google pr show ho rha hai us phle wale blog ko google se hatane ke liye kya kru.

    • Kuch mat karo apne aap remove ho jayega.

  30. Sir mene new blog bnaya he kuch din pehle me blog ke bare me kuch ni janta aur jab me apna blog google pe search karta hu toh pehle number pe robot.Txt name se kuch aata he aur niche mera link dikhata he esa kyu help me

    • Aap robots.txt file use mat karo, jab aapko iski jankari ho jaye ta use karna.

  31. Sir hame apne blog ke sabhi contents show karna chahte hain. To kya ham aisa robot text daal sakte hain ?

    User-agent: *
    Allow: /
    Sitemap: http://www.website.com/sitemap.xml

    Kya ye robot text sahi hai ?

    • Yes ye sahi hai.

  32. महत्वपूर्ण जानकारी, दिया आपने
    Thanks

  33. hi bhai
    1)robots txt karne se pahle sitemap banana honga
    2)robots txt me mujhe allow sirf sitemap all post rakhni hai aur kya allow karu aap bata sakte hai pls
    3)mere blog par 5 post hai aur 2,3post likh kar main sitemap aur robots txt banauga, search engine me submit karu to achha rahenga ya aur post likhu
    4)mere blog ko opera mobile browser me open karo to 1,2 letter cut jaate hai kya problem (ribbon template) other browser me koi problem nahi.
    5)guest post likh kar dofollow backlink milti hai
    6)blog par number if post (5,10 posts) ek page par kaise kare

    • 1. Not require
      2. Learn more about robots.txt
      3. Jab chaho kar sakte ho.
      4. fully responsive template use karo.
      5. yes
      6. Blogger settings >> Posts, comments and sharing par jao or Show at most ke samne jitni post set karni hai utne number set karo.

  34. sir mughe apne blog ka ek post ko delete karna hai lekin vo blogger me se delete kardi hai lekin google me show ho rahi hai kya karna chahiye iska koi solution hai jissse vo hamesha ke liye google par se hat jaye

    • Aap search console par jao or google index >> remove url se us post ko remove karo.

  35. sir ji maine ptc website releted ek post 8 month pahle banayi yhi, 1 month pahle maine usko edit karke update kiya tha, tab maine uska link bhi change kiya tha ab problem ye ho raha hai ki search engine me dono post show ho rahe hai , update kiya hua post hi show hone ke liye muze kya karna hoga plz help

    • New post ko search console me fetch as google karo.

  36. Sir
    Jab me apni post ko search karta hun to bo search me show hoti hai. Par jab me apni post ko open karta hun to bo post show nhi hoti iski jagah par home page show hota hai plz btaye kya setting kare

    • Aap post ka link change mat kiya kaor galat link se psot index hone mar error show hota hai.

  37. bhai aapka jo code hai woh copy nahi ho raha hai copy dissalw kiya hai kya aapne

    • Ab check karo ho jayega.

    • Google ko aapke robots.txt file ko update karne me time lageg. E jaruri bat google bahut smart hai or humare block kar lene ke bad bhi URL index kar leta hai.

  39. Sir agar main robot.text use nahi karta hun to koi prblm h kya ? Aur sir mere comment ke jawab ka mujhe notification mil jaye aisa nahi ho sakta kya ?

    • Starting me iski jarurat nahi jab aapke blog par lakho me traffic ho to jarurat hogi. Aap ise achhe se samajh lo tab use karna.

  40. sir hm site migrate kiye h tb se comment karne ka option nahi aa raha b short me option bata sakte h

    • WordPress dashboard >> settings >> discussion par jao or “Allow link notifications from other blogs (pingbacks and trackbacks) on new articles” or “Allow people to post comments on new articles” ke samne tick karo.

  41. Sir robot txt set karne ke baad usme hum kuch hide karana chahte hai to kaise kar sakte hai. i mean hidi khud ho jaayegi ya hume karni padegi

    • Disallow likh kar uske bad jo hide karna hai us page ka link add karo.

  42. sir mujhe apni blog ki privacy policy or write with us or advertise with us jase page google search me show ni hone dena chahta hua to mai kaise robot.txt file ka use kru. kis me link Disallow: kru or kis me allow kru

    • Bahut hi simple hai robots.txt file me ye code add karo. Isi tarh aap kei link add kar sakte ho.
      Disallow: /your-page-link

  43. Bahut badiya apne samjaya hai

  44. bhai kya site ke leye Robot.txt add karna jaruri hai

    • Yes jaruri files ko search engine se hide karne ke liye jaruri hai.

  45. Sir,maine ekk site banaya hai per mee jab vee useee google me search ker rha huu to website new post kiya hua post ka titke dikha rha hee per Discription nahi dikha rha hee bol rha hee title kee niche ke “A description for this site is not available because of the site’s robot.txt.

    Aur Main Title mee “Your Description here” bta rha hee home page wla mee.Please help me sir!

    • maine blogger seo ke bare me complete guide di huyi hai wo post padh kar apen blog ki seo settings karo.

  46. sir mene search console me crawl ke ander jo robots.txt tester aata hai usme bahut sari post test ki thi to kya ab meri vo post search enggine me show nahi hogi please reply

    or agar nahi hogi to iska solution bhi batana please sir
    me bahut dino se soch raha tha meri post abhi tak show kyu nahi ho rahi

    • Aap robots.txt feature ko disable kar do sabhi post google me show hogi.

  47. bi mare site google me blank dika raha hai app dako to kia problem hai,or mari site google search conaole mai add karne mi eror dikata hai ki

    • Aap mujhe screenshot dikhao

  48. Ek baat batao brother tumhari site par tumhare blog post hi powered by google (Google ads) me show hote hain and then unko click karne par tumhare blog posts hi open hote hain, how is that possible? and do you get any income from that too?
    Reply must

      • Thanks for your quick response, i am amazed how quickly you give response to each of the comments.

  49. sir mene search console me jab site map add kia to mujhe ye msg show kar raha hai “Submited 63 indexed 44” Aap mujhe Samja Sakte hain ke 44 hi index kyun hwe hain ?

    • Iska matlab hai ki google me aapki site ke 63 ur lsubmit ho chuke hai or unme se 44 indexed hai.

  50. Sir kya ap Robot.txt file use karte hain?

    • Ha karta hu. Sabhi blogger karte hai.

  51. Sir cPanel kya hota hai mere paas godaddy ki hosting hai lekin cPanel.me login keise kru btaye

    • Aap godaddy customer care me bat karo wo aapko sabkuch samajha denge.

  52. BAhi mere blog me ye wrning aayi hai
    Warning! Use with caution. Incorrect use of these features can result in your blog being ignored by search engines.
    Mai kya karu plz bahi help me

    • Aapko jab robots.txt file ki puri jankari ho jaye tabhi ise use karna warna aapki site search engine se hide bhi ho sakti hai.

  53. bhai mai to koi ads nahi use kar raha hu to maine robot txt code ko add kiya hai kaya in se koi nuksan hoga to mai in ko removed kar du

    • jab tak aap robots.txt code ke bare me jan na lo use mat karo.

      • to kaya maine robot text code ko add kiya hai in ko removed kar du ? in ko remov kaise karte hai ?

        • Is post se jo code btaye gaye hai sirf unko rahne do baki ko remove kar do.

  54. aap mera blog chek,karke btaye,ki usme AdSense ke shi jagah lagaye h post main bhi or kitani ads. or laga skte h.

    main apni site ko alexa main submit karta hu to Vha paid service bta rha koi free service nhi aa rhi h.
    kaise add alexa main site ko free main.
    please help.

  55. sir yaha apne custom robot .txt code ko peste krne ke liye bataya hai. but apke post me jo photo diya huwa usme to custom page not found me code peste krte huwe dikhaya hai.. isme thoda cnfuse hun,,, aap btayenge code kaha pe dale,, custom page not found me ya custom robot txt me,,

    • Woimage galat thi ab maine chnage kar di hai aap follow kar sakte ho.

  56. ager robot txt block ho jaye to ushe kese unblock karte hai pliz btaye me aap ke jwab ka intjaar krunga

    • Apne jo robots.txt code add kiya hai. use remove kar do.

  57. WordPress me robot text kese add kre

    • ye post padho how to use robot.txt file in WordPress

  58. agar ham apne blog me robot txt add kr le to Jo hamari post hai bo search engine me chhipegi to nhi

    • Aap jo jo robot.txt file chipaoge wo sab search engine me show nahi hogi. Mere hisab se aapko jab tak robot.txt ki achi jankari na ho, ise use mat karo.

  59. Does your blog have a contact page? I’m having problems locating it but, I’d like to shoot you an email. I’ve got some creative ideas for your blog you might be interested in hearing. Either way, great website and I look forward to seeing it improve over time.

  60. I have learn a few good stuff here. Certainly value bookmarking for revisiting. I surprise how much effort you place to make the sort of wonderful informative website.

  61. Hi my name is Sandra and I just wanted to drop you a quick note here instead of calling you. I came to your Robot.txt File Blog Me Kaise Add Karte Hai page and noticed you could have a lot more hits. I have found that the key to running a successful website is making sure the visitors you are getting are interested in your niche. There is a company that you can get targeted traffic from and they let you try their service for free for 7 days. I managed to get over 300 targeted visitors to day to my website.