Faylka robots.txt oo lagu keydiyay asalka shabakadaada ayaa kuu sheegi doona robotyada webka sida mashiinka raadinta raadiyaha ah waxa ay ku qoran yihiin iyo faylasha loo oggol yahay in ay gurguuraan. Waa sahlan tahay in la isticmaalo faylka robots.txt, laakiin waxaa jira waxyaabo ay tahay inaad xasuusato:
- Roobka webka casriga ah ayaa iska indha tiraya faylkaaga robots.txt. Noocyada ugu caansan waa curyaannada khatarta ah iyo robots raadinaya cinwaanada emailka si ay u goosanayaan.
- Qaar ka mid ah barnaamijyadooda cusub waxay qori doonaan robots kuwaas oo iska indha tiraya faylka robots.txt. Tan waxaa badanaa lagu sameeyaa qalad.
- Qof kasta ayaa arki kara faylka robots.txt. Waxaa had iyo jeer loogu yeeraa robots.txt waxaana mar walba lagu kaydiyaa xididka shabakada internetka.
- Ugu dambeyntii, haddii qof uu isku xiro fayl ama buugga oo laga reebo faylkaaga robots.txt ee bogga aan laga saarin faylka robots.txt, makiinadaha raadinta waxaa laga yaabaa inay arkaan.
Ha isticmaalin faylasha robots.txt si aad u qariso wax muhiim ah. Taa bedelkeeda, waa in aad akhrido xog muhiim ah oo ka dambeeya ereyada nabdoonaanta ama ka tagto internetka oo dhan.
Sidee loo Isticmaalaa Tusaalooyinkan Xogta
Nuqulka qoraalka ka soo qaado midka ugu dhow waxa aad rabto inaad sameyso, oo ku dhejiso faylka robots.txt. Bedelista robotka, buugga, iyo magacyada faylasha si aad u waafajiso qaabka aad doorbideyso.
Laba Robots.txt Basic Files
Wakiilka isticmaalaha: *
Diido: /
Faylkan wuxuu sheegayaa in wax kasta oo robot ah (Wakiil-User-ka: *) kuwaas oo soo galaya waa inay iska indhatiraan bog kasta oo ku yaal goobta (Disallow: /).
Wakiilka isticmaalaha: *
Diido:
Faylkan wuxuu sheegayaa in wax kasta oo robot ah (Wakiil-User-ka: *) kuwaas oo soo galaya waxaa loo oggol yahay in ay ku eegto bog kasta oo ku yaal bogga (Disallow:).
Waxaad sidoo kale sameyn kartaa tan adigoo ka tagaya faylkaaga robots.txt faaruq ah ama ha ku laheen mid ka mid ah boggaaga.
Ilaali Tilmaamaha Gaarka ah Dhagaxyada
Wakiilka isticmaalaha: *
Diido: / cgi-bin /
Diido: / temp /
Faylkan wuxuu sheegayaa in qof kasta oo robot ah (Wakiil-User-ka: *) uu soo galo waa in uu iska indhotiro warka / cgi-bin / iyo / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Ilaali boggaga gaarka ah ee laga soo bilaabo Robot
Wakiilka isticmaalaha: *
Diido: /jenns-stuff.htm
Disallow: /private.php
Faylkan wuxuu sheegayaa in qof kasta oo robot ah (Wakiil-isticmaale: *) uu soo galo waa inuu iska dhego tiraa faylasha /jenns-stuff.htm iyo /private.php (Disallow: / jenns-stuff.htm Disallow: / private.php).
Ka hortag Robotka Gaarka ah ee ka soo Galitaanka Goobtaada
Wakiil-isticmaale: Lycos / xx
Diido: /
Faylkan wuxuu sheegayaa in barta Lycos (User-agent: Lycos / xx) looma oggola inuu galo meel kasta oo goobta ku taal (Disallow: /).
U Ogolow Kaliya Hal Gaar Oo Gaar ah
Wakiilka isticmaalaha: *
Diido: /
Wakiil-isticmaale: Googlebot
Diido:
Faylkan ayaa marka hore u fasaxaya dhammaan robotada sida aynu kor ku soo sheegnay, ka dibna si cad u ogolaanaya Googlebot (Wakiil-isticmaale: Googlebot) inay helaan wax walba (Disallow:).
Isku diyaari Layno kala Duwan si aad u hesho Dhamaan Mudaaharaadka aad Rabto
Inkastoo ay fiican tahay in la isticmaalo line-upka isticmaale-ga ah, sida user-wakiilka: *, waxaad noqon kartaa mid gaar ah sida aad jeceshahay. Xasuuso in robotyadu akhriyaan feylka. Sidaas daraadeed haddii laynka ugu horeeya uu sheego in dhamaan robotyadu ka xannibaan wax kasta, ka dibna mar dambe feylka waxaa loola jeedaa in dhamaan robotada loo oggol yahay in ay helaan wax walba, robotyadu waxay heli doonaan wax walba.
Haddii aadan hubin in aad si sax ah u qorto faylkaaga robots.txt, waxaad isticmaali kartaa qalabyada Webmasterka ee Google si aad u eegto faylkaaga robots.txt ama qor mid cusub.